💬 NLP

ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding

Het artikel introduceert ABLE, een training-vrij framework dat heterogene grote taalmodellen representeert en mapt door het aggregeren van tokenizer-agnostische gradiëntgebaseerde feature-attributies om input-gevoeligheidspatronen te vangen, wat stabiele, schaalbare embeddings biedt voor taken zoals modelvergelijking, routering en herkomstauditing.

Oorspronkelijke auteurs: Zirui Wang, Yusen Hou, Shaofeng Liang, Bowen Tian, Yanlin Zhang, Wenshuo Chen, Yutao Yue

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zirui Wang, Yusen Hou, Shaofeng Liang, Bowen Tian, Yanlin Zhang, Wenshuo Chen, Yutao Yue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Large Language Models (LLM's) voor als een enorme, chaotische bibliotheek. Elke dag worden er duizenden nieuwe boeken (modellen) toegevoegd. Sommige zijn geschreven door dezelfde auteur, sommige zijn bewerkte versies van oudere boeken, en sommige behoren tot een compleet ander genre. Het probleem? De bibliotheek heeft geen catalogus. De boeken missen vaak duidelijke labels over waar ze vandaan komen, wie ze heeft geschreven of hoe ze met elkaar verband houden.

Onderzoekers hebben een manier nodig om deze bibliotheek te organiseren, maar de bestaande hulpmiddelen zijn gebrekkig:

De "Inside Look"-methode: Proberen de werkelijke inkt en het papier te lezen (de interne code/gewichten) van elk boek. Dit werkt geweldig als alle boeken hetzelfde lettertype en papierformaat gebruiken, maar faalt jammerlijk wanneer de bibliotheek boeken bevat met verschillende banden, talen en structuren.
De "Cover Test"-methode: Alleen naar de achterkant van de omslag kijken (de uiteindelijke antwoorden die de modellen geven). Dit is makkelijk te doen, maar twee boeken kunnen exact dezelfde tekst op de achterkant hebben terwijl ze intern op totaal verschillende manieren zijn geschreven. Het is alsof je twee chefs beoordeelt op basis van alleen de smaak van het eindgerecht, terwijl je negeert dat de één een blender gebruikte en de ander een vijzel.

De Oplossing: ABLE (De "Fingerprint" Scanner)

Het paper introduceert ABLE (Attribution-Based Large-model Embedding). Zie ABLE niet als een lezer van het uiteindelijke antwoord, maar als een forensische scanner die kijkt naar hoe het model denkt.

Zo werkt het, met behulp van een eenvoudige analogie:

1. De "Ruler in the Drawer"-test
Stel je voor dat je twee verschillende mensen een lastige vraag stelt: "In welk deel van een tafel zou je een liniaal leggen?"

Persoon A denkt misschien: "Een liniaal is lang, dus hij gaat in de lade." Zij focust op het woord "lang".
Persoon B denkt misschien: "Een liniaal is een gereedschap, en gereedschap gaat in de lade." Zij focust op het woord "gereedschap".

Beide personen geven hetzelfde antwoord ("lade"), maar ze kwamen er door op verschillende aanwijzingen te letten.

Oude methoden zouden zeggen: "Ze zeiden allebei 'lade', dus ze zijn dezelfde persoon."
ABLE kijkt naar de hersenactiviteit (de aandacht) achter het antwoord. Het ziet dat Persoon A zich concentreerde op "lang", terwijl Persoon B zich concentreerde op "gereedschap". Het realiseert zich dat dit verschillende mensen zijn met verschillende denkstijlen, zelfs als ze het eens waren over het antwoord.

2. De "Universele Vertaler"
Verschillende modellen spreken verschillende "talen" (tokenizers). De een breekt het woord "liniaal" misschien op in "lin" en "iaal", terwijl de ander het als één woord houdt.
ABLE fungeert als een universele vertaler. Het neemt de specifieke aandachtspatronen van elk model en brengt deze in kaart op één enkele, standaard kaart van woorden (zoals een standaard woordenboek). Hierdoor kan het een model met 7 miljard parameters vergelijken met een model met 70 miljard parameters, zelfs als ze verschillend zijn opgebouwd.

3. De "Gecomprimeerde Kaart"
Zodra ABLE heeft in kaart gebracht hoe een model denkt, creëert het een compacte digitale vingerafdruk (een embedding). Het is alsof je een gigantisch, complex 3D-beeldhouwwerk van de hersenen van een model neemt en dit plat slaat tot een kleine, gemakkelijk mee te dragen ID-kaart die nog steeds alle essentiële vorminformatie bevat.

Wat hebben ze ontdekt?

De onderzoekers hebben deze "vingerafdrukscanner" getest op 239 verschillende modellen. Dit is wat zij ontdekten:

Het kan stambomen herkennen: Als je modellen neemt die bekend staan als verwant (zoals een ouderlijk model en zijn kind), laten de vingerafdrukken van ABLE zien dat ze dicht bij elkaar staan op de kaart. Als ze niet verwant zijn, staan ze ver uit elkaar. Het slaagde erin de "stamboom" van modellen zoals Mistral en Llama te reconstrueren.
Het is een betere matchmaker: Bij het bepalen welk model het beste is voor een specifieke taak (zoals wiskunde of coderen), voorspelt de vingerafdruk van ABLE de prestaties beter dan alleen naar de uiteindelijke antwoorden te kijken. Het kan je vertellen: "Dit model denkt als een wiskundige", nog voordat je een volledige test uitvoert.
Het is stabiel: Het paper bewijst wiskundig dat wanneer je een minuscule wijziging aanbrengt in de interne code van een model, de vingerafdruk slechts een klein beetje verandert. Het springt niet wild heen en weer; het is een betrouwbare manier om gelijkenis te meten.

De Kern van het Verhaal

ABLE is een nieuwe manier om de chaotische wereld van AI-modellen te organiseren. In plaats van alleen het uiteindelijke antwoord te lezen of te proberen de complexe interne bedrading te decoderen, kijkt het naar waar het model de aandacht aan besteedt om tot een conclusie te komen.

Het is alsof je een superkracht hebt waarmee je het denkproces achter het antwoord kunt zien, waardoor je het verschil kunt zien tussen twee modellen die aan de oppervlakte identiek lijken, maar op totaal verschillende manieren denken. Dit helupt onderzoekers om te auditeren waar modellen vandaan komen, taken naar het juiste model te routeren en te voorspellen hoe goed een model zal presteren zonder dat ze voor elk afzonderlijk model dure, tijdrovende tests hoeven uit te voeren.

Technische Samenvatting: ABLE (Attribution-Based Large-model Embedding)

Probleemstelling
De snelle expansie van het ecosysteem van Large Language Models (LLM's) heeft geleid tot een heterogene collectie modellen met diverse architecturen, schalen en trainingsoorsprongen, die vaak een gebrek aan duidelijke documentatie vertonen. Deze ondoorzichtigheid bemoeilijkt kritieke taken zoals herkomstauditing, beveiligingsanalyse (bijv. het traceren van backdoor-propagatie) en intelligente modelselectie. Bestaande representatiemethoden kampen met aanzienlijke beperkingen in deze setting:

Interne kenmerk-analyse: Methoden die parameters of activaties analyseren zijn effectief voor homogene families, maar worstelen met structurele heterogeniteit, omdat ze complexe strategieën voor gewichtsaliniëring vereisen die niet goed schalen.
Externe output-probing: Black-box methoden die vertrouwen op outputs (bijv. log-waarschijnlijkheden of gegenereerde tekst) schalen goed, maar verwarren vaak modellen met vergelijkbare oppervlaktegedragingen maar verschillende interne berekeningen. Bovendien is het vergelijken van outputs tussen modellen met verschillende tokenizers en vocabulaires moeilijk.

Methodologie
De auteurs stellen ABLE (Attribution-Based Large-model Embedding) voor, een training-vrij framework dat modelrepresentaties construeert in de "interpreteerbaarheidruimte" door gradiënt-gebaseerde feature-attributies te aggregeren. De pipeline bestaat uit drie stadia:

Attributieberekening:
- De methode maakt gebruik van Gradient × Input (GI) attributies op een vooraf gedefinieerde probing-dataset van meerkeuzevragen (MCQ's).
- Voor elk model wordt de attributie van elke input-token aan de log-waarschijnlijkheid van elk kandidaat-antwoordoptie berekend. Dit legt de input-gevoeligheidspatronen van het model vast in plaats van alleen de uiteindelijke voorspelling.
- Het resultaat is een hoogdimensionale token-niveau attributievector ( $a_{token}$ ).
Cross-Tokenizer Alignment:
- Om de incompatibiliteit van verschillende tokenizers aan te pakken, gebruikt ABLE een tokenizer-agnostisch aligneringsproces.
- Token-naar-Karakter Mapping: Token-niveau attributies worden uniform verdeeld over de karakter-spans van de originele tekst.
- Karakter-naar-Woord Aggregatie: Karakter-niveau attributies worden opgeteld op basis van witruimte-delimiters om woord-niveau attributies te vormen.
- Dit levert een uniforme woord-niveau attributievector ( $a_{word}$ ) op voor alle modellen, ongeacht hun onderliggende tokenizer.
Dimensiereductie:
- De hoogdimensionale woord-niveau vectoren worden geprojecteerd in een compacte laagdimensionale embedding-ruimte ( $K$ dimensies) met behulp van Johnson-Lindenstrauss (JL) random projectie.
- Dit behoudt de paarverschillen tussen modellen met een hoge waarschijnlijkheid, terwijl het efficiënte downstream-verwerking mogelijk maakt.

Theoretische Garanties
Het paper biedt een stabiliteitsanalyse onder standaard regulariteitsveronderstellingen voor differentieerbare Transformer-stijl modellen:

Lipschitz-continuïteit: De auteurs bewijzen dat ABLE een Lipschitz-continue afbeelding induceert van modelparameters naar embeddings. Dit zorgt ervoor dat kleine perturbaties in modelparameters resulteren in begrensde veranderingen in de embedding-ruimte, wat chaotisch gedrag voorkomt.
Eindige-steekproef Convergentie: Het paper stelt concentratiegrenzen vast die aantonen dat de empirische representatie (berekend vanuit een eindige set samples) convergeert naar de populatie-niveau representatie naarmate de steekproefgrootte toeneemt.

Experimentele Resultaten
Het framework werd gevalideerd op 239 open-source LLM's variërend in parametergrootte van 70M tot 70B en diverse families (bijv. Llama, Mistral, Qwen, Bloom). Belangrijkste bevindingen zijn:

Relatievoorspelling: ABLE presteerde beter dan baselines (inclusief output-gebaseerde methoden zoals PhyloLM en Log-Likelihood) bij het voorspellen of twee modellen gerelateerd zijn (afgeleid van dezelfde bron). Het behaalde de hoogste nauwkeurigheid (86,7%) en precisie (83,6%), wat zijn vermogen aantoont om subtiele afleidingsrelaties te detecteren die output-only methoden missen.
Model Routing: In een model routing taak (het voorspellen welk model een vraag correct beantwoordt), bereikte een router die gebruikmaakt van bevroren ABLE-features een nauwkeurigheid van 67,6%, waarmee het de volledig getrainde EmbedLLM baseline (66,5%) licht overtrof. Cruciaal is dat ABLE een training-vrij voordeel biedt, waardoor nieuwe modellen aan de routing-pool kunnen worden toegevoegd zonder het hele systeem opnieuw te trainen.
Benchmark Score Voorspelling: Gebruikmakend van ridge regressie voorspelden ABLE-features prestaties op standaard benchmarks (ARC, MMLU, TruthfulQA, etc.) met Spearman-correlaties variërend van 0,81 tot 0,89.
Kandidaatselectie: ABLE slaagde erin de zoekruimte voor taakspecifieke modelselectie (bijv. voor wiskunde of redenering taken) te verkleinen, waarbij hoge NDCG@10 scores (tot 0,990) werden behaald bij het selecteren van veelbelovende base-modellen voor adaptatie.

Betekenis en Claims
Het paper claimt dat ABLE een nieuw paradigma biedt dat de kloof overbrugt tussen interne parameteranalyse en externe output-probing. Door gebruik te maken van de interpreteerbaarheidruimte, legt ABLE model-specifieke input-gevoeligheidspatronen vast die robuust zijn tegen architecturale en tokenizer verschillen.

De auteurs benadrukken dat ABLE geen vervanging is voor bestaande methoden, maar een complementair perspectief dat schaalbaar blijft voor heterogene ecosystemen. Het framework biedt een geprincipeerde, training-vrije aanpak voor:

Herkomstauditing: Het identificeren van verborgen relaties en potentiële copyright kwesties.
Model Routing: Efficiënt selecteren van modellen voor specifieke taken zonder hertraining.
Prestatieschatting: Voorspellen van benchmark scores om modelselectie te sturen.

Het werk concludeert dat hoewel het berekenen van attributies een eenmalige kostenpost met zich meebrengt, de resulterende herbruikbare embeddings efficiënte downstream-analyse faciliteren, wat een stabiele en interpreteerbare manier biedt om het evoluerende landschap van LLM's in kaart te brengen.

De Oplossing: ABLE (De "Fingerprint" Scanner)

Wat hebben ze ontdekt?

De Kern van het Verhaal

Technische Samenvatting: ABLE (Attribution-Based Large-model Embedding)

Meer zoals dit