💬 NLP

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

Dit artikel toont aan dat het hebberig selecteren van een kleine, architecturaal geïnformeerde deelverzameling van modelcomponenten zowel effectiever als computationeel efficiënter is dan het gebruik van volledige gradiënten of willekeurige projecties voor het genereren van instantie-gebaseerde verklaringen van grote taalmodellen.

Oorspronkelijke auteurs: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen waarom een gigantische, superintelligente robot een specifieke beslissing heeft genomen. Je weet dat de robot is getraind op een enorme bibliotheek aan boeken, maar welk specifiek boek leerde hem dat specifieke feit? Dit is de wereld van "instance-based explanations" (gebaseerde verklaringen op basis van instanties) in kunstmatige intelligentie. Wetenschappers willen de antwoorden van een robot terugleiden naar de exacte trainingsvoorbeelden die het hebben beïnvloed, bijna als een detective die op zoek is naar een vingerafdruk. Om dit te doen, kijken ze meestal naar de "gradiënten" van de robot. Denk aan een gradiënt als een gigantische, meerdimensionale kaart die precies laat zien hoe het brein van de robot zou veranderen als hij een specifieke zin zou zien. Het probleem is dat deze kaarten voor moderne robots (genaamd Large Language Models) zo enorm zijn dat ze onmogelijk mee te dragen zijn. Een enkele kaart voor een standaardmodel neemt meer dan 4 gigabyte aan geheugen in beslag—meer dan een hele film! Daarom moeten onderzoekers deze kaarten verkleinen om ze hanteerbaar te maken. Ze hebben geprobeerd twee belangrijke trucs toe te passen: ofwel het grootste deel van de kaart weggooien en slechts een paar willekeurige stukjes bewaren, of de hele kaart plat te drukken tot een kleine, wazige samenvatting. Maar niemand wist echt welke truc beter was in het helpen van de detective om het juiste boek te vinden.

Dit artikel, getiteld "Select or Project?", beoogt dit mysterie op te lossen. De auteurs, Lukas Hinterleitner en zijn team van de Universiteit van Wenen, bouwden een nieuwe testomgeving om te zien of het beter is om zorgvuldig een paar belangrijke delen van het brein van de robot te kiezen (Selectie) of om het hele brein wiskundig samen te persen in een kleinere ruimte (Projectie). Ze gebruikten een slim spel om dit te testen: ze namen een zin, herschreven deze op een andere manier, en vroegen de "gradiënten" van de robot om de originele zin te vinden tussen een menigte look-alikes. Als de gradiënten goed zijn, zouden ze rechtstreeks naar de originele zin wijzen.

De resultaten waren verrassend. Het team kwam erachter dat de "platdruk"-methode (Random Projection), die probeert de vorm van de hele kaart te behouden, niet de beste detective was. In plaats daarvan won een methie die ze "Greedy Selection" noemden. Deze aanpak is als een slimme bibliothecaris die niet de hele bibliotheek leest, maar precies weet welke drie planken de belangrijkste aanwijzingen bevatten. Door zorgvuldig een kleine, specifieke set van de interne onderdelen van de robot te kiezen (specifiek bepaalde lagen die logica en woordverbindingen afhandelen), creëerden ze een kleine, super-scherpe kaart. In hun tests was deze gerichte selectie niet alleen nauwkeuriger in het vinden van het juiste trainingsvoorbeeld, maar ook veel sneller en goedkoper om te berekenen.

Hier komt de verrassing: de volledige, gigantische kaart van het brein van de robot presteerde eigenlijk slechter dan deze kleine, zorgvuldig gekozen subset. In een moeilijke test waarbij de robot een nieuw verhaal moest genereren op basis van een herschreven prompt, kreeg de volledige kaart het antwoord slechts ongeveer 22% van de tijd goed—nauwelijks beter dan gokken. Echter, de kleine, geselecteerde groep onderdelen kreeg het ongeveer 36% van de tijd goed. De auteurs suggereren dat de volledige kaart eigenlijk "ruisachtig" is, gevuld met zoveel extra informatie dat het de echte aanwijzingen overstemt. Door alleen de meest informatieve stukjes te selecteren, elimineerden ze de ruis en kregen ze een duidelijker signaal.

Het artikel keek ook naar welke delen van het brein van de robot de beste detectives waren. Ze ontdekten dat het niet ging over de grootte van het deel; een klein stukje van het brein kon nuttiger zijn dan een groot deel. Het ging erom wat het deel deed. De onderdelen die verantwoordelijk zijn voor de interne logica van de robot (MLP-lagen) waren veel beter in het vinden van de juiste trainingsdata dan de onderdelen die verantwoordelijk zijn voor het letten op specifiewd woorden (zoals de "Key" en "Value" delen van het aandachtmechanisme). Interessant genoeg waren de onderdelen aan het begin en het einde van de verwerkingsketen van de robot het meest behulpzaam, terwijl de middelste onderdelen verward leken te raken en minder nuttig werden.

Uiteindelijk concluderen de auteurs dat we voor het uitleggen van hoe deze gigantische AI-modellen werken, niet het hele plaatje nodig hebben. We hebben alleen de juiste paar stukjes nodig. Hun "Greedy Selection"-strategie is een praktische, efficiënte manier om deze verklaringen mogelijk te maken zonder dat er supercomputers nodig zijn die honderden uren draaien. Hoewel ze dit testten op een specifiek model met ongeveer 1,2 miljard parameters, suggereren hun bevindingen dat voor de toekomst van AI-transparantie, kies selectief te zijn veel beter is dan alles proberen te bewaren.

Technische Samenvatting: Selecteren of Projecteren? Evaluatie van Laagdimensionale Vectoren voor LLM Trainingsdata-uitleg

Probleemstelling
Gradiëntgebaseerde methoden voor instantie-gebaseerde uitleg van Large Language Models (LLM's) worden geconfronteerd met een aanzienlijke computationele barrière vanwege de immense dimensionaliteit van modelgradiënten. Voor een model met 1 miljard parameters vereist een enkele gradiëntvector meer dan 4 GB aan geheugen, wat volledige gradiëntanalyse onuitvoerbaar maakt. Huidige praktijken beperken de invloedschatting vaak tot een subset van modelparameters (bijv. specifieke lagen of LoRA-adapters) om de berekening haalbaar te maken. Deze subsets worden echter vaak ad hoc gekozen zonder systematische rechtvaardiging. Bovendien worden alternatieve dimensionaliteitsreductietechnieken, zoals random projectie, gebruikt maar ontbreekt een vergelijkende evaluatie ten opzichte van architectuurbewuste selectiestrategieën. Het kernprobleem is de vraag of het effectiever is om een ijle, structureel geïnformeerde subset van modelcomponenten te selecteren of om de volledige hoogdimensionale gradiënt naar een lagerdimensionale ruimte te projecteren om de invloed van trainingsdata te vangen.

Methodologie
De auteurs stellen een nieuwe, zonder hertraining werkende benchmark voor om dimensionaliteitsreductiestrategieën voor instantie-gebaseerde uitleg te evalueren. De evaluatie kadert het probleem als een retrieval-taak: gegeven een testinstantie (specifiek, een geparafraseerde versie van een trainingsmonster of een door het model gegenereerde voltooiing), moet het systeem de oorspronkelijke trainingsvoorbeelden identificeren uit een set distractors op basis van gradiëntgelijkenis.

Gradiëntrepresentatie: De studie maakt gebruik van verliesgradiënten met betrekking tot modelparameters ( $\nabla_\theta L$ ). De volledige gradiënt wordt geconstrueerd door componentgradiënten (bijv. query, key, value projecties, MLP gates) samen te voegen tot een enkele vector.
Evaluatieopzet:
- Datasets: De auteurs gebruiken de LIMA-subset van de Tülu 2 dataset. Ze genereren twee query-sets: een Paraphrased set ( $D_p$ ) met behulp van GPT-4o-mini om prompts te herformuleren met behoud van semantiek, en een Model-Generated set ( $D_m$ ) waarbij het gefinetunede model voltooiingen genereert voor geparafraseerde prompts.
- Metriek: Retrieval-nauwkeurigheid wordt gemeten door te controleren of de cosinusgelijkenis tussen de query-gradiënt en de gradiënt van het oorspronkelijke trainingsmonster hoger is dan de gelijkenis met distractors (geselecteerd via BM25).
Vergelijking van strategieën:
- Full Gradient: Gebruik van de volledige parameterset (baseline).
- Random Projection (Project): Het projecteren van de volledige gradiënt in een lagerdimensionale ruimte ( $d \ll M$ ) met behulp van een willekeurige matrix, geïmplementeerd op componentniveau om massieve matrices te vermijden. Dit behoudt de geometrische structuur van de volledige gradiënt.
- Greedy Component Selection (Select): Een architectuurbewust algoritme dat iteratief een subset van modelcomponenten selecteert (tot een parameterbudget) die de retrieval-nauwkeurigheid maximaliseert. Dit maakt gebruik van de lineariteit van dot-producten om gelijkenisscores te reconstrueren uit vooraf berekende scalaire waarden zonder hoogdimensionale vectoren op te slaan.

Belangrijkste Bijdragen

Nieuwe Benchmark: De introductie van een efficiënte, op retrieval gebaseerde benchmark die ontworpen is om te testen hoe goed verschillende laagdimensionale representaties de identificatie van invloedrijke trainingsvoorbeelden ondersteunen.
Beginselen van Vergelijking: Een systematische evaluatie die architectuurbewuste greedy selectie vergelijkt met geometrie-behoudende random projectie en de full-gradient baseline.
Demonstratie van Efficiëntie en Nauwkeurigheid: Empirisch bewijs dat gerichte componentselectie nauwkeurigere attributies oplevert en aanzienlijk computationeel efficiënter is dan random projectie.

Resultaten

Beperkingen van Full Gradient: Hoewel de full gradient goed presteert in de geparafraseerde setting (0.993 nauwkeurigheid), stort de prestatie in bij de uitdagendere model-gegenereerde setting (0.218 nauwkeurigheid), wat nauwelijks beter is dan een willekeurige gok (0.20).
Componentvariantie: Niet alle componenten dragen evenveel bij. In de model-gegenereerde setting dragen de MLP gate en up-projecties de meest informatieve signalen, terwijl attention key en value projecties weinig bijdragen of slechter presteren dan willekeurig. Het aantal parameters correleert niet lineair met prestaties; de functionele rol is een kritischer determinat.
Selectie vs. Projectie:
- Nauwkeurigheid: Een greedily geselecteerde subset van componenten (met gebruik van minder dan 5% van de parameters) bereikt bijna perfecte nauwkeurigheid (0.998) in de geparafraseerde setting en presteert aanzienlijk beter dan de full gradient in de model-gegenereerde setting (0.36 vs. 0.218).
- Geometrie vs. Nut: Hoewel random projectie effectief de globale geometrie van de volledige gradiënt behoudt (hoge cosinusgelijkenis met full gradient scores), vertaalt deze hoge getrouwheid zich niet in optimale retrieval-nauwkeurigheid. Het selecteren van componenten op basis van hun specifieke nut voor de retrieval-taak is superieur aan het behouden van de globale geometrie.
Computationele Efficiëntie: De greedy selectiemethode is aanzienlijk efficiënter. Het vooraf berekenen van dot-producten duurde ongeveer 4 uur, terwijl de selectie slechts minuten in beslag nam. In contrast hiermee vereisten random projectie-baselines meer dan 900 uur (zonder caching) vanwege de computationele intensiteit van het projecteren van massieve vectoren.

Betekenis en Claims
Het artikel claimt dat voor de instantie-gebaseerde uitleg van grote modellen, gerichte componentselectie een praktische en superieure strategie is vergeleken met random projectie of het gebruik van de volledige gradiënt. De centrale inzichten is dat een zorgvuldig gekozen, ijle subset van modelcomponenten een duidelijker en discriminatiever signaal kan bieden voor specifieke taken dan de volledige, ruisgevoelige gradiënt. Deze aanpak maakt instantie-gebaseerde uitleg voor grote modellen computationeel haalbaarder zonder de attributie-nauwkeurigheid op te offeren, en deze zelfs te verbeteren. De auteurs concluderen dat het beperken van invloedschatting tot een structureel geïnformeerde subset van lagen een levensvatbare weg voorwaarts is, wat de aanname uitdaagt dat de volledige gradiënt de optimale bron van informatie is.

Het werk is bescheiden in omvang en merkt beperkingen op met betrekking tot de modelgrootte (1.2 miljard parameters) en de statische aard van de evaluatie (gebruik van een enkel checkpoint). De auteurs suggereren dat toekomstig werk de generalisatie over verschillende architecturen, schalen en dynamische attributiemethoden die de invloed gedurende het trainingsproces volgen, moet verkennen.

Meer zoals dit