🤖 AI

LINE: LLM-based Iterative Neuron Explanations for Vision Models

Het artikel introduceert LINE, een trainingsvrij, black-box framework dat gebruikmaakt van grote taalmodellen en tekst-naar-afbeelding-generatoren om iteratief open-vocabulaire conceptlabels voor individuele neuronen in visiemodellen te ontdekken en te verfijnen, waarmee state-of-the-art prestaties worden bereikt en nieuwe concepten worden blootgelegd die door vooraf gedefinieerde vocabulaires worden gemist.

Oorspronkelijke auteurs: Vladimir Zaigrajew, Michał Piechota, Gaspar Sekula, Paweł Gelar, Przemysław Biecek

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vladimir Zaigrajew, Michał Piechota, Gaspar Sekula, Paweł Gelar, Przemysław Biecek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robot hebt die naar een afbeelding kan kijken en je kan vertellen wat het is. Maar er is een addertje onder het gras: de robot is een "black box". Je kunt zien dat de afbeelding binnenkomt en het antwoord naar buiten komt, maar je hebt geen idee hoe het dat antwoord heeft bepaald. In het brein van de robot zitten miljarden kleine schakelaars die neuronen worden genoemd. Sommige van deze schakelaars lichten op wanneer de robot een "hond" ziet, anderen wanneer hij een "boom" ziet, maar we weten niet welke welke is.

Al lang proberen wetenschappers deze schakelaars te labelen, maar ze zijn dan detectives die proberen de naam van een verdachte te raden met alleen een lijst van 1.000 vooraf geschreven namen. Als de robot over iets specifieks nadenkt, zoals een "rode brandkraan", maar die exacte zin staat niet op hun lijst, raden ze misschien gewoon "brand" of "rood", en missen ze het echte punt.

Dan komt LINE (LLM-based Iterative Neuron Explanations) in beeld. Denk aan LINE als een creatief detective-team dat niet alleen gissen doet vanuit een lijst; het bedenkt de juiste beschrijving door een spelletje "gissen en controleren".

Hier is hoe LINE werkt, stap voor stap:

1. De Startgissing (Het Scorebord)

LINE begint met een ruwe gissing. Het kijkt naar een lijst van gemeenschappelijke dingen (zoals "pooltafel" of "halters") en ziet welke ervan de neuron een beetje doen oplichten. Het plaatst deze op een scorebord.

Analogie: Stel je voor dat je een mysterieus object probeert te beschrijven. Je begint met zeggen: "Is het een stoel? Nee. Is het een tafel? Misschien een beetje."

2. De Creatieve Lus (Het Magische Team)

Hier wordt LINE slim. Het gebruikt twee AI-tools die samenwerken:

De Schrijver (LLM): Een groot taalmodel dat fungeert als brainstormpartner. Het kijkt naar het huidige scorebord en zegt: "Hé, 'pooltafel' en 'halters' laten allebei deze neuron oplichten. Misschien gaat het niet om de objecten zelf, maar om sport?"
De Kunstenaar (Tekst-naar-Afbeeldingsmodel): Zodra de Schrijver een nieuw idee voorstelt (zoals "krachttraining"), tekent de Kunstenaar direct 50 verschillende afbeeldingen van mensen die gewichten tillen, yoga doen of sporten.

3. De Realiteitscheck (De Test)

LINE neemt die 50 nieuwe afbeeldingen en voert ze terug in het brein van de robot.

Als de neuron helder oplicht voor de "krachttraining"-afbeeldingen, krijgt de Schrijver een hoge score.
Als de neuron donker blijft, is de score laag.

4. De Verfijning (Iteratie)

Het team herhaalt deze lus.

Ronde 1: "Misschien is het een sportschool?" (Score: Oké).
Ronde 2: "Misschien is het gewichtheffen?" (Score: Beter).
Ronde 3: "Misschien is het specifiek 'krachttraining'?" (Score: Uitstekend).

Het proces gaat door, waarbij het idee wordt verfijnd totdat ze de perfecte beschrijving vinden. Tot slot nemen ze de topideeën en vragen ze de Schrijver om ze samen te vatten tot één groot concept (zoals "lichaamsbeweging").

Waarom is dit een grote zaak?

1. Het breekt de "Lijst"-regel.
Oude methoden zaten vast aan een vast menu van woorden. Als de robot dacht aan een "hemelbed", zou een oude methode misschien gewoon "bed" of "slaapkamer" zeggen. LINE besefte dat de robot eigenlijk dacht aan de specifieke stijl: "hemelbed". Het vond 27% meer nieuwe concepten die de oude lijsten misten.

2. Het tekent de afbeelding om het te bewijzen.
In plaats van alleen een woord te zeggen, tekent LINE de afbeelding die de neuron gek maakt. Het is alsof de robot zegt: "Ik weet dat deze neuron voor 'spinnen' is, want kijk naar deze afbeelding van een spinnenweb die ik tekende – het laat de neuron schreeuwen!" Dit helpt te bewijzen dat het label eigenlijk correct is.

3. Het werkt zonder naar binnen te kijken.
De meeste methoden vereisen dat de robot "open" is zodat wetenschappers de wiskunde erin kunnen zien (gradiënten). LINE werkt als een black box. Het praat gewoon met de robot, toont het afbeeldingen en luistert naar de reactie. Dit betekent dat het op elke robot kan werken, zelfs de meest geheimzinnige.

De Resultaten

Het paper testte LINE op verschillende beroemde robotbreinen (zoals ResNet en ViT).

Betere Scores: Het behaalde aanzienlijk hogere nauwkeurigheidscores dan eerdere methoden (met verbeteringen tot 0,11 punten, wat enorm is in dit vakgebied).
Nieuwe Ontdekkingen: Het ontdekte dat veel neuron niet alleen naar één ding zochten; ze zochten naar een categorie van dingen (zoals "sport" in plaats van alleen "halter").
Visueel Bewijs: De afbeeldingen die het genereerde waren veel duidelijker en natuurlijker dan de rare, wazige afbeeldingen die door oudere methoden werden geproduceerd.

Het Addertje onder het Gras (Beperkingen)

De auteurs zijn eerlijk over de gebreken:

Startbias: Omdat LINE begint met een lijst van gemeenschappelijke dingen (zoals ImageNet), kan het zeer zeldzame of gespecialiseerde dingen missen (zoals specifieke medische aandoeningen) als ze niet in die startlijst staan.
Eén Idee Tegelijk: Soms is een neuron "polysemantisch", wat betekent dat het om twee totaal verschillende dingen geeft (zoals "honden" EN "vuur"). LINE kiest meestal de sterkste en kan de tweede missen.
De Fouten van de Kunstenaar: Als het tekentool (het Tekst-naar-Afbeeldingsmodel) een slechte afbeelding tekent, kan de test mislukken, zelfs als het idee goed was.

Samenvatting

LINE is een nieuwe manier om AI-breinen te begrijpen. In plaats van de AI te dwingen in een vooraf gemaakte doos van woorden te passen, gebruikt het een creatieve lus van ideeën voorstellen, ze tekenen en ze testen om de exacte, voor mensen leesbare beschrijving te vinden van waar de AI eigenlijk over nadenkt. Het is alsof je een vertaler hebt die niet alleen woorden gist, maar afbeeldingen tekent om zeker te weten dat hij de betekenis goed heeft begrepen.

Technische Samenvatting: LINE (LLM-gebaseerde Iteratieve Neuronverklaringen voor Visuele Modellen)

Probleemstelling

Het interpreteren van individuele neuronen in diepe neurale netwerken (DNN's) is essentieel voor het begrijpen van complexe besluitvormingsprocessen en het waarborgen van AI-veiligheid, met name in hoog-risicodomeinen zoals gezondheidszorg en justitie. Hoewel mechanistische interpreteerbaarheid erop gericht is om gelokaliseerde besluitvormingskringen bloot te leggen, blijft een aanzienlijke uitdaging bestaan: het automatisch vertalen van neurale activiteit naar voor mensen begrijpelijke semantische concepten.

Bestaande methoden voor het labelen van neuronen lijden onder twee primaire beperkingen:

Afhankelijkheid van Vooraf Gedefinieerde Woordenboeken: Veel benaderingen (bijv. Network Dissection, CLIP-Dissect) zijn beperkt tot vaste conceptsets, die vaak het ontbreken van nauwkeurige grondwaarheid of het vastleggen van hogere-orde, globale concepten niet aankunnen.
Te Specifieke of Strakke Beschrijvingen: Methoden die tekstgenererende modellen gebruiken (bijv. MILAN) produceren vaak beschrijvingen die te smal zijn, waardoor ze niet generaliseren naar bredere semantische abstracties.
Afhankelijkheid van Gradienten: Activeringsmaximalisatie (AM)-methoden, die worden gebruikt voor visuele verklaringen, vertrouwen doorgaans op gradienten-gebaseerde optimalisatie. Dit brengt geheugenoverhead met zich mee, vereist differentieerbaarheid en beperkt vaak de compatibiliteit tot oudere tekst-naar-beeld (T2I) modellen, terwijl het afbeeldingen produceert met onnatuurlijke artefacten.

Methodologie: LINE Framework

De auteurs introduceren LINE (LLM-gebaseerde Iteratieve Neuronverklaringen), een nieuw, trainingsvrij, black-box framework dat is ontworpen voor open-vocabulaire conceptlabeling in visuele modellen. LINE werkt als een gesloten-lus iteratief proces dat een Groot Taalmodel (LLM) en een Tekst-naar-Beeld (T2I) generator gebruikt zonder toegang tot de gradiënten of trainingsdata van het doelmodel.

Het framework bestaat uit vier kerncomponenten die in een lus opereren:

Initialisatie: Het proces begint met het initialiseren van een "conceptscorebord" ( $H$ ) met behulp van labels uit de ImageNet-1K validatieset. Voor elke klasse wordt een set afbeeldingen door het doelvisuele model gevoerd om initiële neuronactivaties te extraheren, waarmee een basisscorevector wordt vastgesteld. Het scorebord wordt gevuld met de best scorende initiële labels en een set willekeurige labels om exploitatie en exploratie in evenwicht te brengen.
Conceptvoorstel (LLM): In elke iteratie analyseert een LLM het huidige scorebord (specifiek de best scorende concepten en hun geschiedenis) om een nieuw, verfijnd conceptvoorstel te doen. De LLM wordt geleid om bestaande hoogscorende concepten te generaliseren, te verenigen of creatief te combineren, terwijl eerder voorgestelde termen worden vermeden.
Beeldsynthese (T2I): Het voorgestelde concept wordt doorgegeven aan een T2I-model (bijv. Stable Diffusion XL) om een batch diverse synthetische afbeeldingen te genereren. De prompttemplate bevat variaties in hoek en belichting om visuele diversiteit te waarborgen.
Activeringsextractie en Scoren: De gegenereerde afbeeldingen worden verwerkt door het doelvisuele model om het activatievector van het specifieke neuron te extraheren. Een scorefunctie ( $\psi_{avg}$ ) berekent de gemiddelde activatie over de gegenereerde set. Deze continue score kwantificeert de correctheid van het voorgestelde concept. Het scorebord wordt bijgewerkt met het nieuwe concept en zijn score.

Finale Samenvattingsstap: Na $N$ iteraties wordt een finale samenvattingsstap uitgevoerd. De LLM wordt gevraagd om een enkel, hoog-niveau globaal concept te synthetiseren dat de best scorende concepten uit de definitieve geschiedenis verenigt, waardoor een bredere semantische abstractie wordt geboden.

De methode is architectuuronafhankelijk, toepasbaar op zowel Convolutional Neural Networks (CNN's) als Vision Transformers (ViT's), en ondersteunt diverse T2I-modellen (SD1.5, SDXL, FLUX.1).

Belangrijkste Bijdragen

Het artikel presenteert de volgende bijdragen:

State-of-the-Art Neuronlabeling: LINE behaalt superieure prestaties op de CoSy (Concept Synthesis) benchmark, een unificerende, architectuuronafhankelijke benchmark voor het evalueren van tekstuele neuronverklaringen.
Voorbij Vooraf Gedefinieerde Woordenboeken: Het iteratieve verfijningsproces stelt LINE in staat om nieuwe, zeer interpreteerbare concepten te ontdekken die worden gemist door methoden die uitsluitend vertrouwen op vooraf gedefinieerde woordenboeken.
Gradiëntvrije Visuele Verklaringen: Door het optimaliseren van tekstuele beschrijvingen in plaats van pixelwaarden via gradiënten, biedt LINE een gradiëntvrij alternatief voor Activeringsmaximalisatie. Dit maakt het gebruik van moderne T2I-modellen mogelijk en produceert schonere, meer natuurlijke visuele verklaringen zonder de artefacten die gebruikelijk zijn bij gradiëntgebaseerde AM.
Transparantie en Evaluatie van Polysemie: In tegenstelling tot methoden met één doorloop, behoudt LINE een volledige gegenereerde geschiedenis. Dit maakt de evaluatie van neuronpolysemie (neuronen die meerdere concepten detecteren) mogelijk en biedt redenering achter elk conceptvoorstel.

Experimentele Resultaten

De auteurs hebben LINE geëvalueerd over meerdere architecturen (ResNet18/50, ViT-B/16, DINOv3) en datasets (ImageNet, Places365).

Kwantitatieve Prestaties: Op de CoSy benchmark overtrof LINE aanzienlijk de baselines, waaronder CLIP-Dissect, INVERT en DnD.
- AUC-Verbeteringen: LINE behaalde AUC-verbeteringen tot 0,11 op op ImageNet getrainde modellen en 0,05 op op Places365 getrainde modellen in vergelijking met de beste baselines.
- MAD-Verbeteringen: Mean Activation Difference (MAD)-scores waren ook consequent hoger, wat wijst op een sterkere alignering tussen de voorgestelde concepten en neuronactivaties.
- Statistische Significantie: Wilcoxon-tekens-rangtests bevestigden dat deze verbeteringen statistisch significant waren in de meeste configuraties.
Ontdekking van Nieuwe Concepten: Analyse van de finale best scorende concepten onthulde dat het iteratieve proces van LINE nieuwe, niet-vooraf gedefinieerde labels genereerde voor een significant deel van de neuronen:
- 27% gemiddeld van de topconcepten waren nieuw ontdekt (niet afkomstig uit het initiële vocabulaire).
- Specifieke lagen vertoonden ontdekkingspercentages tot 36% (bijv. ResNet18 op Places365).
Kwalitatieve en Causale Validatie:
- Visuele Verklaringen: LINE produceerde visuele verklaringen die beter interpreteerbaar en natuurlijker waren dan die van DiffExplainer en DEXTER. Hoewel DiffExplainer vaak hogere activatiewaarden bereikte, schrijven de auteurs dit toe aan het benutten van niet-beschrijvende visuele artefacten (ruis) die gebruikelijk zijn bij gradiëntgebaseerde optimalisatie.
- Causale Ablatie: Met behulp van beeld-naar-beeld generatieve modellen voerden de auteurs ablatiestudies uit waarbij het geïdentificeerde concept uit afbeeldingen werd verwijderd. Dit resulteerde in een aanzienlijke daling van de neuronactivatie (vaak dicht bij nul), wat de causale link tussen het label en het gedrag van het neuron valideert.
Ablatiestudies:
- Iteraties: De prestaties verbeterden snel in de eerste 5–6 iteraties, met gestage winsten tot iteratie 14, waarna het plateauerde.
- T2I-modellen: Hoewel FLUX.1 iets hogere activatiescores produceerde dan SDXL, was het verschil niet statistisch significant. SDXL werd geselecteerd voor de belangrijkste experimenten vanwege de lagere geheugenoverhead.

Betekenis en Claims

Het artikel positioneert LINE als een fundamentele stap naar transparantere en verantwoorde visuele modellen. De betekenis hiervan ligt in:

Trainingsvrij en Black-Box Compatibiliteit: Het biedt een schaalbare oplossing voor het auditeren van DNN's zonder toegang tot interne gradiënten, trainingsdata of modelgewichten, waardoor het toepasbaar is op propriëtaire of legacy-modellen.
Modulariteit en Toekomstbestendigheid: Het modulaire ontwerp van het framework maakt naadloze integratie van toekomstige vooruitgang in LLM's en T2I-modellen mogelijk zonder het proces opnieuw te hoeven trainen.
Veiligheid en Interpreteerbaarheid: Door zowel tekstuele als visuele verklaringen te bieden, helpt LINE bij het identificeren van modelbias en het begrijpen van besluitvormingskringen, wat cruciaal is voor het inzetten van AI in veiligheidskritieke toepassingen.

De auteurs erkennen beperkingen, waaronder mogelijke bias die is overgeërfd van de ImageNet-initialisatie en de afhankelijkheid van generatieve modellen die moeite kunnen hebben met gespecialiseerde domeinen (bijv. medische beeldvorming). Ze merken ook op dat voor polysemische neuronen de pipeline kan convergeren naar een enkel dominant concept, wat suggereert dat toekomstig werk het opnieuw starten van de pipeline zou kunnen omvatten om secundaire semantische triggers te verkennen.