🤖 machine learning

Retrieval is Enough: Training-Free Interpretability with a Tool-Using Agent

Het artikel introduceert HARP, een training-vrije, tool-gebruikende agent die gebruikmaakt van retrieval uit activatiedatabases om hypothesen te genereren en te valideren, waarmee wordt aangetoond dat het dure, op training gebaseerde interpreteerbaarheidsmethoden kan overtreffen in conceptontdekking, detectie, sturing en geheime elicitatie.

Oorspronkelijke auteurs: Sriram Balasubramanian, Soheil Feizi

Gepubliceerd 2026-07-21

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sriram Balasubramanian, Soheil Feizi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe het brein van een reusachtige, superintelligente robot werkt. Dit brein, een neuraal netwerk genoemd, denkt niet in woorden zoals wij dat doen; het denkt in onzichtbare wolken van getallen die "activaties" worden genoemd. Lange tijd hebben wetenschappers geprobeerd om in deze wolken te gluren om te zien waar de robot werkelijk over nadenkt. Sommige onderzoekers probeerden een enorme, dure bibliotheek van deze getallenwolken te bouwen, waarbij ze een nieuwe, gespecialiseerde robot trainden om ze te memoriseren en uit te leggen. Anderen probeerden simpelere trucjes, zoals het gebruik van een vergrootglas om patronen te vinden zonder enige training. De grote vraag die iedereen stelt is: Hebben we echt die dure, getrainde bibliotheken nodig om het brein te begrijpen? Of is het mogelijk dat de "slimme" getrainde robots gewoon heel goed zijn in het opzoeken van antwoorden in een boek dat ze al uit hun hoofd hebben geleerd, in plaats van daadwerkelijk iets nieuws te ontdekken?

Dit artikel, getiteld "Retrieval is Enough", stelt een slimme nieuwe manier voor om in het brein van de robot te gluren zonder dure bibliotheken te bouwen. De auteurs creëerden een hulpmiddel genaamd HARP (Hypothesis-driven Agentic Retrieval and Probing). Zie HARP niet als een student die jarenlang moet studeren om de stof te leren, maar als een superintelligente detective met een magische telefoonbundel. Deze telefoonbundel bevat miljoens voorbeelden van de gedachten van de robot, gekoppeld aan de zinnen die deze gedachten veroorzaakten. Wanneer HARP wil weten wat een specifieke gedachte betekent, raadt het niet; het zoekt naar vergelijkbare gedachten in de telefoonbundel, leest de omliggende zinnen en ontdekt het patroon. Vervolgens gebruikt het eenvoudige wiskundige instrumenten om dat patroon van de gedachte af te "aftrekken" om te zien wat er overblijft, een proces dat het herhaalt totdat het elke laag van betekenis heeft afgepeld.

Het artikel stelt vast dat deze "detective met een telefoonbundel" verrassend krachtig is. Sterker nog, HARP doet het vaak beter dan de dure, getrainde robots bij het ontdekken van welke concepten verborgen zitten in de activaties van het neurale netwerk. Of de taak nu is om de hoofdonderwerpen in een paragraaf te achterhalen, een specifiek verborgen idee op te sporen, of zelfs een model te misleiden om een geheim woord te onthullen dat het getraind was om te verbergen, HARP presteert net zo goed, of soms zelfs beter, dan de zware, getrainde methoden. De auteurs suggereren dat veel van de "inzichten" waarvan we dachten dat we ze kregen door dure training, misschien slechts het resultaat zijn van het systeem dat patronen ophaalt en combineert die het tijdens de training zag, in plaats van het ontsluiten van diepe, nieuwe geheimen. Door aan te tonen dat een eenvoudig, zonder training werkend systeem het werk kan doen, beargumenteert het artikel dat we misschien niet zoveel tijd en geld nodig hebben aan het trainen van complexe interpreteerders als we simpelweg de antwoorden kunnen opzoeken in een goed georganiseerde database met voorbeelden.

Technische Samenvatting: Retrieval is Enough: Training-Free Interpretability with a Tool-Using Agent

Probleemstelling

Het veld van neurale netwerkinterpreteerbaarheid is steeds meer verschoven naar op training gebaseerde methoden, zoals Sparse Autoencoders (SAEs) en Activation Oracles. Deze methoden vertrouwen op grootschalige trainingsdatasets om woordenboeken van features te leren of om LLM's te finetunen om activatievectoren te verbaliseren. De heersende aanname is dat deze geleerde systemen inzichten naar boven halen die verder gaan dan wat herstelbaar is uit de trainingsdata zelf via eenvoudige retrieval en klassieke lineaire algebra.

Dit artikel daagt die aanname uit door de centrale vraag te stellen: brengen training-gebaseerde methoden inzichten naar boven die verder gaan dan wat herstelbaar is uit hun trainingsdata via retrieval en klassieke tools? De auteurs hypothetiseren dat huidige training-gebaseerde methoden primair fungeren als "lossy databases", waarbij activatie-contextparen worden gecomprimeerd in een vast woordenboek of een gefinetuned model, waardoor het vermogen verloren gaat om concepten te ontdekken die slecht gerepresenteerd zijn in de oorspronkelijke corpus zonder hertraining.

Methodologie: HARP

Om deze hypothese te testen, stellen de auteurs HARP voor (Hypothesis-driven Agentic Retrieval and Probing), een training-vrije, agentische pipeline voor het interpreteren van activatievectoren.

Kerncomponenten

Constructie van de Vector Database:
- Activaties worden geëxtraheerd uit een generieke corpus (een subset van The Pile) gekoppeld aan hun tekstuele contexten.
- Voor elke tokenpositie wordt de residual-stream activatie en een omliggende tekstvenster geregistreerd.
- Activaties worden bias-gecorrigeerd (gecentreerd door het gemiddelde van de corpus af te trekken) om content-vrije variantie te verwijderen.
- De database wordt geïndexeerd met Milvus met een benaderde inner-product zoekopdracht.
De Agentische Loop:
- HARP maakt gebruik van een LLM-agent (gebruikmakend van gpt-4o-mini) uitgerust met een specifieke toolkit van lineaire algebra-operaties en database retrieval-tools.
- Retrieval: De agent bevraagt de database voor de top- $k$ dichtstbijzijnde buren van een doelactivatie (na het eruit projecteren van de belangrijkste hoofdcomponenten om generieke buren te vermijden).
- Hypothesevorming: De agent inspecteert de opgehaalde tekstfragmenten om een coherent semantisch thema te identificeren.
- Conceptconstructie: De agent construeert een "conceptvector" die dit thema vertegenwoordigt. Dit gebeurt via difference_of_means (het middelen van positieve opgehaalde vectoren en het aftrekken van een nul-vector of negatieve samples) of subspace_projection (het fitten van hoofdcomponenten op een cluster van vectoren).
- Verificatie & Iteratie: De geconstrueerde conceptvector wordt uit de oorspronkelijke doelactivatie geprojecteerd. De agent bevraagt vervolgens de database opnieuw met de residu-vector. Als het oorspronkelijke thema verdwijnt uit de top- $k$ resultaten, wordt het concept geaccepteerd. Het proces herhaalt zich op de residu om meerdere onderscheidende concepten binnen een enkele activatie "af te pellen".
Toolset:
- query_vector_db: Haalt vergelijkbare activaties op.
- get_activations: Genereert gerichte negatieve voorbeelden door door de agent geschreven probe-teksten door het model te draaien.
- difference_of_means / subspace_projection: Construeert conceptrichtingen of subruimten.
- project_out: Verwijdert geïdentificeerde concepten uit de doelvector.
- check_reconstruction / dot_product: Diagnostische tools voor verificatie.
Skills:
- Het gedrag van de agent wordt gestuurd door lichtgewicht "skills" (instructies op hoog niveau) die op specifieke taken zijn afgestemd (bijv. discover_concepts, elicit_secrets, detect_specific_concept). Dit stelt HARP in staat om zonder hertraining naar specifieke taken te worden hergebruikt.

Belangrijkste Bijdragen

Herformulering van Interpretability: Het artikel stelt dat training-gebaseerde methoden mogelijk fungeren als lossy compressies van hun trainingsdata, terwijl een retrieval-gebaseerde aanpak met lineaire tools een vergelijkbare of superieure prestatie kan leveren zonder de starheid van een vaste trainingsset.
HARP Systeem: De introductie van een modulaire, training-vrije agent die vector retrieval combineert met lineaire algebraïsche manipulatie om concepten te ontdekken, te detecteren en te sturen.
Empirisch Bewijs: Het demonstreren dat HARP de prestaties van SAE's en Activation Oracles evenaart of overtreft over vier verschillende interpretabiliteits-taken.
Flexibiliteit en Kosten: Het benadrukken dat HARP on-demand uitbreiding van datasets mogelijk maakt (indexeren van nieuwe documenten) zonder hertraining, een capaciteit die ontbreeft bij SAE's en Oracles.

Experimentele Resultaten

De auteurs evalueren HARP tegen een pre-trained SAE (gemma-scope-9b-pt-res) en een Activation Oracle (gefinetuned Gemma-2-9B-IT) op het gemma-2-9b model.

Ongesuperviseerde Conceptontdekking:
- Taak: Identificeer de belangrijkste concepten in activatievectoren uit de BILLS (wetgevende samenvattingen) en WIKI datasets.
- Metriek: Coverage (hoeveelheid gevonden grondwaarheid-concepten) en Importance (specificiteit van het concept).
- Resultaat: HARP presteert beter dan beide baselines op het gebied van coverage (1.9× winst over SAE, 1.6× over Oracle) en importance. Cruciaal is dat de iteratieve "project-out" loop van HARP redundantie voorkomt, terwijl de Oracle vaak hetzelfde thema herhaalt.
- Casestudy: Wanneer de initiële corpus geen juridische documenten bevatte, herstelde HARP de prestaties simpelweg door een kleine set juridische teksten te indexeren. SAE's en Oracles konden niet adapteren zonder hertraining.
Conceptdetectie en Sturing:
- Taak: Detecteer specifieke concepten (van de AXBENCH benchmark) en stuur het model aan om tekst te genereren die deze concepten bevat.
- Metriek: ROC-AUC voor detectie; LM-judge score voor de kwaliteit van de sturing.
- Resultaat: HARP bereikt een gemiddelde AUC van 0.892 (vs. 0.877 voor Oracle en 0.704 voor SAE). Op "harde negatieven" (distractoren die nauw verwant zijn aan het concept), presteert HARP significant beter dan de Oracle (0.856 vs. 0.756), wat suggereert dat de Oracle vertrouwt op oppervlakkige signalen. In sturing presteert HARP aanzienlijk beter dan SAE's (0.20 vs. 0.02 LM-judge score).
Secret Elicitation:
- Taak: Herstel verborgen attributen (geheime woorden of gebruikersgeslacht) uit gefinetuned modellen die getraind zijn om deze niet te verbaliseren.
- Resultaat:
  - Geheime Woorden: De Oracle leidt (80% nauwkeurigheid) vanwege de training op LatentQA-achtige vragen, maar HARP verkleint de kloof aanzienlijk (73%) met slechts één nearest-neighbor lookup. Dit suggereert dat het voordeel van de Oracle grotendeels te danken is aan retrieval-capaciteiten.
  - Geslacht: HARP presteert beter dan de Oracle (94% vs. 91% nauwkeurigheid) door een precieze contrast-paar probe te construeren, wat een superieure prestatie aantoont wanneer het verborgen attribuut overeenkomt met een laag-dimensionale richting.

Betekenis en Claims

Het artikel concludeert dat retrieval vaak voldoende is voor interpretabiliteits-taken. De resultaten suggereren dat huidige training-gebaseerde methoden nog geen inzichten naar boven halen die verder gaan dan wat herstelbaar is uit hun trainingsdata via retrieval en klassieke lineaire tools.

Ondergrens vs. Bovengrens: De auteurs kaderen hun resultaten als een ondergrens van wat retrieval kan bereiken, wat impliceert dat training-gebaseerde methoden moeten laten zien dat ze inzichten kunnen ontsluiten die voorbij pure retrieval gaan om hun complexiteit en kosten te rechtvaardigen.
Modulariteit: Het ontwerp van HARP maakt het mogelijk om modulaire componenten (dataset, agent, toolkit) onafhankelijk te wisselen of uit te breiden, wat een flexibiliteit biedt die training-gebaseerde methoden missen.
Toekomstige Richting: Het werk motiveert de creatie van benchmarks die expliciet vereisen dat interpretabiliteitsmethoden aantonen dat ze inzichten kunnen bieden die niet simpelweg via retrieval herstelbaar zijn, om het veld te duwen naar methoden die echt nieuwe representaties leren in plaats van alleen bestaande data te comprimeren.

De auteurs publiceren hun code op https://github.com/SriramB-98/HARP.