💬 NLP

Activation-Based Active Learning for In-Context Learning: Challenges and Insights

Dit artikel onderzoekt het potentieel van het gebruik van op MLP-activaties gebaseerde signalen voor het selecteren van in-context voorbeelden in grote taalmodellen, maar concludeert dat dergelijke methoden ineffectief zijn vanwege een gebrek aan correlatie met taakprestaties, waarbij wordt gesuggereerd dat toekomstig onderzoek technieken zoals Sparse Autoencoders moet verkennen om het onderliggende probleem van superpositie aan te pakken.

Oorspronkelijke auteurs: Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante maar zeer nieuwe student (een Large Language Model) te leren hoe hij een specifiek type puzzel moet oplossen. In plaats van hem een dik tekstboek te geven om te bestuderen, geef je hem een paar voorbeelden vlak voordat het examen begint. Dit wordt In-Context Learning genoemd.

De grote vraag waar onderzoekers zich de laatste tijd over buigen is: Welke voorbeelden moeten we kiezen? Als we de "beste" voorbeelden kiezen, krijgt de student een beter cijfer. Als we slechte voorbeelden kiezen, kunnen ze in de war raken.

Het Grote Idee: Luisteren naar de hersengolven van de student

De auteurs van dit paper hadden een slimme hypothese. Ze dachten: "Misschien kunnen we naar de hersenactiviteit van de student kijken terwijl hij naar een voorbeeld kijkt, om te zien of het een goed voorbeeld is."

In computertaal worden deze "hersengolven" activaties genoemd. Wanneer het model een voorbeeld verwerkt, lichten bepaalde delen van zijn interne machinerie (specifiek de MLP-lagen, die als de geheugenbanken van het model fungeren) op. De onderzoekers wilden meten hoe fel deze lampjes flitsten. Ze dachten:

Helderdere lampen = Een belangrijker, hoogwaardiger voorbeeld.
Dimmere lampen = Een saai, nutteloos voorbeeld.

Ze probeerden deze "hersengolf-metingen" te gebruiken om automatisch de beste voorbeelden voor de student te selecteren. Ze probeerden zelfs verschillende manieren uit waarop de student naar de voorbeelden kon kijken (zoals het lezen van de hele pagina in één keer versus het lezen regel voor regel) om te zien of dat de hersengolfpatronen veranderde.

Het Experiment: De Theorie Testen

Het team voerde een massaal experiment uit. Ze gebruikten twee populaire AI-modellen (Llama en Qwen) en testten ze op vier verschillende soorten taken:

Waar/Niet waar-vragen (BoolQ)
Meerkeuze wetenschappelijke vragen (ARC-Challenge, OpenBookQA)
Wiskundige woordproblemen (GSM8K)

Voor elke taak namen ze 1.000 potentiële voorbeelden. Ze maten de "hersengolven" (activaties) voor elk voorbeeld met verschillende wiskundige instrumenten (zoals het controleren van de gemiddelde helderheid, de spreiding van het licht, of de grootste enkele flits). Daarna testten ze het model daadwerkelijk met die voorbeelden om te zien hoe goed het presteerde.

Ten slotte vergeleken ze de hersengolfscores met de werkelijke testscores. Ze zochten naar een sterke link: Hielpen de voorbeelden met de helderste hersengolven het model daadwerkelijk om betere cijfers te halen?

Het Resultaat: Een "Negatieve" Bevinding

Hier komt de clou: Het werkte niet.

De onderzoekers ontdekten dat er bijna geen verband was tussen de hersengolfpatronen en hoe goed het model presteerde.

De correlatie was extreem zwak (op zijn best een score van 0,33 op 1,0, wat nauwelijks meer is dan een fluistering van een relatie).
Soms maakten de voorbeelden met de "helderste" hersengolven het model zelfs slechter dan wanneer ze willekeurige voorbeelden hadden gekozen.
Zelfs toen ze verschillende vormen van masking probeerden (het verbergen van delen van de tekst om de manier waarop het model leest te veranderen), was het resultaat hetzelfde: de hersengolven voorspelden geen succes.

Waarom faalde het? De "Superpositie"-analogie

De auteurs bieden een theorie voor waarom dit gebeurde, gebruikmakend van een concept genaamd Superpositie.

Stel je een drukke kamer voor waar iedereen tegelijkertijd probeert te praten. In een normale kamer luister je naar één persoon als je die wilt horen. Maar in de "kamer" van dit AI-model (in zijn interne dimensies) vinden er meer gesprekken plaats dan er mensen zijn om naar te luisteren.

Om al deze gesprekken in de beperkte ruimte te passen, mengt het model ze door elkaar. Een enkele "lichtflits" in de hersenen gaat niet alleen over één specifieke feit; het is een complex, verstrengeld mengsel van vele verschillende feiten en ideeën. Omdat de signalen zo verwarrend en gemengd zijn, vertelt het kijken naar de ruwe "helderheid" van de lichten je niet of een specifiek voorbeeld goed of slecht is. Het is alsof je probeert de kwaliteit van een specifiek ingrediënt in een smoothie te beoordelen door alleen naar de kleur van de hele drank te kijken; de kleuren zijn te sterk vermengd om te kunnen zien wat erin zit.

De Conclusie

Het paper concludeert dat je de ruwe hersengolfmetingen (MLP-activaties) niet kunt gebruiken om goede voorbeelden voor AI te kiezen. Het is een doodlopende weg voor deze specifieke methode.

De auteurs suggereren echter een pad vooruit. Omdat de signalen zo door elkaar gemengd zijn, hebben we misschien een speciaal hulpmiddel nodig om ze eerst te "ontmengen". Ze stellen het gebruik voor van iets dat Sparse Autoencoders (SAEs) wordt genoemd, die fungeren als een geavanceerd filter om de verstrengelde gesprekken in de kamer te scheiden, zodat we de individuele stemmen daadwerkelijk kunnen horen. Totdat we zo'n filter hebben, moeten we niet vertrouwen op deze activatiesignalen om onze voorbeelden te kiezen.

Kortom: Het idee om de interne "gloed" van de AI te gebruiken om voorbeelden te kiezen was een geweldige theorie, maar het experiment toonde aan dat het in de praktijk niet werkt omdat de interne signalen van de AI te chaotisch zijn om direct te interpreteren.

Technische Samenvatting: Activatie-gebaseerde Actieve Leermethoden voor In-Context Learning

Probleemstelling
In-context learning (ICL) is een primaire methode geworden voor het verbeteren van de prestaties van Large Language Models (LLM's) zonder fine-tuning, waarbij de nadruk ligt op het selecteren van hoogwaardige voorbeelden binnen de prompt. Hoewel diepe actieve leermethoden al zijn toegepast op ICL met technieken zoals modelonzekerheid, datadiversiteit en gelijkenismetrieken, blijft er een gat bestaan in het benutten van recente vooruitgang in het begrijpen van de interne activaties van de transformer. Specifiek is het onduidelijk of de ruwe activatiepatronen van de Multi-Layer Perceptron (MLP) lagen—die cruciaal zijn voor kennismemorisatie—kunnen dienen als een fijnmazig signaal om de selectie van in-context voorbeelden te optimaliseren. Dit artikel onderzoekt de hypothese dat modelactivaties correleren met de kwaliteit van voorbeelden en de taakprestaties.

Methodologie
De auteurs voerden een uitgebreide empirische studie uit met twee basismodellen, Llama-3.2-3B en Qwen2.5-3B, over vier diverse datasets: BoolQ, ARC-Challenge, OpenBookQA (classificatietaken) en GSM8K (generatieve wiskundige redenering).

De methodologie bestond uit de volgende stappen:

Maskeringsstrategieën: Om complexe relaties tussen kandidaat-voorbeelden en test-samples te vangen, experimenteerden de auteurs met vier aandacht-maskeringsconfiguraties (attention masking):
- Causal Mask: De standaardinstelling die aandacht naar toekomstige tokens blokkeert.
- No Mask: Het verwijderen van causale maskering om bidirectionele verwerking mogelijk te maken.
- Row Test-Based: Alleen de test-query tokens maskeren.
- Col Test-Based: Alleen de test-key tokens maskeren.
Scoremechanisme: Voor elk kandidaat-voorbeeld voerde het model een forward pass uit met 1-shot prompts (voorbeeld + delimiter + test sample). De auteurs extraheerden activatiematrices van alle $L$ MLP-lagen.
Metrieken: Om de activatiematrices te reduceren tot een enkele score, gebruikten de auteurs:
- De eerste vier statistische momenten: gemiddelde (absoluut), variantie, scheefheid (skewness) en kurtosis.
- De "max activatie": de grootste absolute activatiewaarde binnen de matrix.
- De "per-vector max": het gemiddelde van de maximale activaties over de token-vectoren.
Evaluatie: De auteurs berekenden een shot_score voor elk voorbeeld door de prompt-scores over de testset te middelen. Vervolgens berekenden ze de Spearman correlatiecoëfficiënt tussen deze scores en de werkelijke taakprestaties (nauwkeurigheid of exact match) van de geselecteerde voorbeelden.

Belangrijkste Resultaten
De studie leverde een definitief negatief resultaat op met betrekking tot de initiële hypothese:

Gebrek aan Correlatie: Er is geen betrouwbare correlatie tussen op MLP-activaties gebaseerde scores en in-context voorbeeldprestaties. De absolute Spearman correlatiecoëfficiënt was maximaal 0,33 over alle geteste taken en modellen.
Statistische Significantie: Veel experimenten vertoonden lage p-waarden ( $p < 0,001$ ), wat wijst op een statistisch significante afwezigheid van correlatie.
Prestatie-misalignment: Het selecteren van voorbeelden op basis van maximale, mediane of minimale scores leverde niet de best presterende voorbeelden op. In sommige gevallen resulteerden "optimale" selecties op basis van deze metrieken in prestatiedalingen onder de zero-shot baselines.
Robuustheid: Dit gebrek aan correlatie bleef standhouden, ongeacht de maskeringstrategie (causaal, geen maskering of test-specifiek) of de specifieke metriek die werd gebruikt (momenten of max-activaties).

Betekenis en Bijdragen
De primaire bijdrage van het artikel is de meest uitgebreide analyse tot nu toe van de op MLP-activaties gebaseerde diepe actieve leermethoden voor ICL, waarbij een kritisch "negatief resultaat" wordt geleverd dat toekomstige onderzoeksrichtingen stuurt.

Empirisch Bewijs: De auteurs demonstreren dat ruwe MLP-activaties, zelfs wanneer bekeken via massale activaties of statistische momenten, niet dienen als een proxy voor de kwaliteit van voorbeelden.
Hypothese over Superpositie: Het artikel veronderstelt dat het falen van deze metrieken te wijten is aan superpositie, waarbij modellen meer kenmerken (features) vertegenwoordigen dan hun dimensionaliteit toelaat, waardoor kenmerken over dimensies heen verstrengeld raken. Dit suggereert dat lineaire of eenvoudige statistische metrieken deze complexe, niet-lineaire interacties niet kunnen ontwarren.
Toekomstige Richting: Bijgevolg stellen de auteurs dat gebruikers geen ruwe MLP-activaties moeten gebruiken voor het samplen van in-context voorbeelden zonder verdere ontwarring (disentanglement) van de MLP. Zij stellen Sparse Autoencoders (SAEs) voor als een veelbelovende toekomstige richting om interpreteerbare kenmerken te isoleren voordat actieve leermethoden worden toegepast.

Concluderend: hoewel de studie het gebruik van activatie-gebaseerd sampling voor ICL niet valideert, biedt het essentiële inzichten door een specifieke klasse van methoden uit te sluiten en te wijzen op technieken voor kenmerk-ontwarring zoals SAE's als noodzakelijk voor toekomstige vooruitgang in dit domein.

Het Grote Idee: Luisteren naar de hersengolven van de student

Het Experiment: De Theorie Testen

Het Resultaat: Een "Negatieve" Bevinding

Waarom faalde het? De "Superpositie"-analogie

De Conclusie

Meer zoals dit