Technische Samenvatting: Adversarial Concept Search

Probleemstelling

Naarmate Large Language Models (LLM's) verbeteren, wordt het steeds moeilijker om resterende uitdagingen en randgevallen te identificeren. Mensen kunnen niet betrouwbaar voorspellen welke combinaties van concepten een model tot falen zullen drijven. Bijgevolg vertrouwen ontwikkelaars op inefficiënte datasetcuratie of brede benchmarks die specifieke foutmodi kunnen missen. Het paper stelt Adversarial Concept Search (ACS) voor: een methode om te anticiperen op de conceptuele scenario's waarin een model zal falen zonder het model te evalueren op specifieke geïnstantieerde inputs. Het kerndoel is het voorspellen van fouten in compositionele generalisatie — het vermogen om bekende atomaire concepten te combineren in nieuwe configuraties — door de interne representationele geometrie van het model te analyseren.

Theoretische Fundering: Lossy Superposition

Het paper schrijft fouten in compositie toe aan interferentie tussen saillante features die gecodeerd zijn in superpositie.

• Superpositie: LLM's coderen veel features in beperkte dimensies door gebruik te maken van gedeelde lineaire richtingen. Theoretisch werk in compressed sensing suggereert dat als feature-activaties schaars zijn ($k \ll d$), herstel lossless kan zijn, zelfs met niet-orthogonale encodings.
• Lossy Realiteit: De auteurs stellen dat LLM-inferentie in de praktijk gepaard gaat met ruis, waardoor het decodeerproces lossy (informatieverlieslatend) wordt. Wanneer meerdere niet-orthogonale feature-encodings tegelijkertijd actief zijn, interfereren ze met elkaar, wat de prestaties van het herstel verslechtert.
• Geometrische Hypothese: Compositionele fouten ontstaan door geometrische interferentie tussen de representaties van atomaire concepten. Specifiek, wanneer de lineaire encodings van concepten dicht bij elkaar liggen (kleine hoeken), is de interferentie hoog, wat leidt tot falen. Wanneer ze bijna orthogonaal zijn, kan het model ze betrouwbaar componeren.

Methodologie

De auteurs introduceren een metriek genaamd Compositional Interference (CI) om deze interferentie te kwantificeren en falen te voorspellen.

1. Schatten van Saillante Feature Encodings

Omdat de grondwaarheid van latente features ontoegankelijk is, schatten de auteurs deze in met behulp van residual-stream representaties:

• Atomaire Concepten: Representaties worden afgeleid van voorbeelden die specifieke atomaire concepten instantiëren (bijv. het token "jump" of de taal "Spaans").
• Omgaan met Structuur: Ruwe representaties bevatten vaak grootschalige structuren (bijv. taalfamilies of prompttypen) die irrelevant zijn voor de specifieke concepten. Om dit te mitigeren, passen de auteurs mean-centering toe op dominante clusters voordat hoeken worden berekend.
• Meertalige Subspaces: Voor taalconcepten gebruiken ze, in plaats van één enkele vector, een low-rank subspace (via SVD op een corpus van die taal) om het taalconcept te representeren.

2. Definiëren van Compositional Interference (CI)

CI wordt gedefinieerd als een genormaliseerde variant van lokale cumulatieve coherentie over de saillante support van actieve concepten $C$:
$$CI(C) = \max_{i \in S(C)} \frac{1}{|S(C)|} \sum_{j \in S(C), j \neq i} |\cos(a_i, a_j)|$$
Waarbij $a_i$ en $a_j$ de empirische encodings zijn van de saillante latente feature-richtingen.

• Hoge CI: Wijst op hoge interferentie (kleine hoeken tussen features), wat een hogere waarschijnlijkheid van een compositioneel falen voorspelt.
• Lage CI: Wijst op bijna-orthogonaliteit, wat betrouwbare compositie voorspelt.

3. Adversarial Concept Search (ACS)

De methode gebruikt CI om conceptcombinaties te rangschikken op moeilijkheidsgraad. Gegeven beperkte middelen, kunnen ontwikkelaars een subset van combinaties met de hoogste CI selecteren om een "challenge set" te creëren die de foutdekking maximaliseert zonder elke mogelijke input te testen.

Belangrijkste Bijdragen en Resultaten

1. Gecontroleerde Synthetische Validatie (SCAN)

De auteurs valideerden de hypothese op de SCAN benchmark (een synthetische taak voor compositionele generalisatie) met behulp van toy-modellen die vanaf nul zijn getraind.

• Bevindingen: Ze toonden aan dat trainingsdekking en modelcapaciteit de geometrie van representaties systematisch veranderen.
• Correlatie: Over verschillende modelgroottes en trainingsregimes heen, correleerde een lagere CI (meer orthogonaliteit) met een hogere nauwkeurigheid, terwijl een hogere CI correleerde met falen.
• Significantie: CI bood een betrouwbare rangschikking van de moeilijkheidsgraad van voorbeelden, waarbij het de willekeurige ordening aanzienlijk overtrof (PR-AUC > baseline) zonder de gecomponeerde inputs te evalueren.

2. Voorspelling in Real LLMs (Llama-3.2-3B)

De methode werd toegepast op een echte 3B-parameter LLM op twee taken:

• Multihop Question Answering: Het model werd getest op two-hop queries (bijv. "geboortejaar van de auteur van 1984") waarbij het al succesvol was op de single-hop componenten.
  • Resultaat: CI, berekend van de atomaire queries (auteur van 1984, geboortejaar van George Orwell), voorspelde succesvol het falen op de gecomponeerde query. Er werd een sterke negatieve correlatie ($r = -0.855$) gevonden tussen CI en nauwkeurigheid.
• Multilingual Factual Recall: Het model werd getest op het ophalen van feiten in niet-Engelse talen.
  • Resultaat: CI, berekend vanuit de hoek tussen de Engelse feit-representatie en de doeltaal-subspace, voorspelde falen in cross-linguale transfer.
  • Efficiëntie: Dit maakte het mogelijk om moeilijke taal-feit paren te identificeren zonder de daadwerkelijke vertaalde tekst te hoeven vertalen of te evalueren.

3. Generalisatie naar Coarse-Grained Scenario's

De auteurs toonden aan dat CI de moeilijkheid van brede categorieën (bijv. "hoofdsteden in het Spaans") kon voorspellen in plaats van alleen specifieke instanties, wat suggereert dat de metriek schaalt naar algemene taakplanning.

Betekenis en Claims

Het paper claimt een schaalbare fundering te hebben gelegd voor het identificeren van risicovolle voorbeelden en het construeren van gerichte stresstests.

• Proactieve Foutvoorspelling: In tegen tegenover actieve leer-methoden die vereisen dat specifieke inputs worden verwerkt, voorspelt ACS foutmoden puur vanuit de geometrie van atomaire conceptbeschrijvingen.
• Efficiëntie van Middelen: Het stelt ontwikkelaars in staat om datacollectie of vertaalinspanningen te prioriteren in "probleemgebieden" (bijv. specifieke feiten in specifieke talen) voordat de volledige dataset wordt gegenereerd.
• Mechanistisch Inzicht: Het werk overbrugt de kloof tussen theoretische superpositie en praktisch modelfalen, en suggereert dat orthogonaliteit een praktische noodzaak is voor robuuste compositie in ruisige, lossy decodeeromgevingen.

De auteurs blijven bescheiden en merken op dat hun huidige methode steunt op een enkele geometrische maatstaf en eenvoudige atomaire representaties. Ze erkennen dat toekomstig werk rijkere conceptidentificatie zou kunnen verkennen (bijv. via Sparse Autoencoders) en onderscheid kan maken tussen destructieve en constructieve interferentie. Ze stellen echter dat zelfs deze minimale opzet succesvol heeft aangetoond dat de representatiegeometrie bruikbare informatie bevat voor het voorspellen van compositionele generalisatie.