🤖 AI

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

Dit artikel toont aan dat het injecteren van trainingsvrije, willekeurige embeddingvectoren in de invoer van grote taalmodellen de redeneerprestaties effectief verbetert door de token-diversiteit in een vroeg stadium te vergroten en Pass@N te verbreden, een mechanisme dat zowel de inferentie-accuraatheid als de trainingsresultaten verbetert zonder dat er geleerde soft prompts nodig zijn.

Oorspronkelijke auteurs: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante maar zeer rigide bibliothecaris (het Large Language Model) voor die uitstekend is in het oplossen van wiskundeproblemen, maar soms in een spoorloze routine terechtkomt. Ze volgt altijd hetzelfde pad naar het antwoord, en als dat pad doodloopt, geeft ze op.

Lange tijd probeerden onderzoekers dit op te lossen door de bibliothecaris te "trainen" met speciale, zelfgeschreven notities (zogenaamde Soft Prompts) om hen naar betere oplossingen te leiden. Ze gingen ervan uit dat de magie zat in de inhoud van die notities.

Dit artikel stelt een andere vraag: Wat als de magie niet in de notities zelf zit, maar in het simpele feit dat je de bibliothecaris, voordat ze begint, een nieuw, willekeurig vel papier geeft?

Hier is de uiteenzetting van hun ontdekking, Random Soft Prompts (RSP), met alledaagse analogieën:

1. Het "Willekeurige Ruis"-experiment

In plaats van een speciale notitie te trainen, pikten de onderzoekers gewoon een handvol volledig willekeurige, betekenisloze krabbels (willekeurige getallen) en plakte die aan het begin of einde van het wiskundeprobleem.

De verrassing: Hoewel deze krabbels geen enkele bruikbare informatie bevatten, begon de bibliothecaris plotseling problemen beter op te lossen. In sommige gevallen presteerde ze net zo goed alsof ze een zorgvuldig getrainde, perfecte notitie had gekregen.
De les: De verbetering kwam niet voort uit het leren van iets nieuws. Het kwam voort uit de daad van het injecteren van iets nieuws in de mix.

2. Hoe het werkt: De "Vertakkend Pad"-analogie

Stel je het denkproces van de bibliothecaris voor als het lopen door een gang met vele deuren.

Zonder het willekeurige papier: De bibliothecaris loopt rechtdoor door de hoofdhal, opent het eerste deur dat ze ziet en blijft dat pad volgen. Als dat pad doodloopt, faalt ze.
Met het willekeurige papier: De willekeurige krabbels fungeren als een plotselinge, verwarrende windvlaag aan het begin van de gang.
- Vroege fase (De vertakking): Door deze "wind" pauzeert de bibliothecaris en kijkt ze naar andere deuren dan ze normaal zou doen. Ze opent misschien een deur die ze nooit eerder overwogen. Dit creëert een "vertakking" in haar denken, wat leidt tot een volledig andere route naar de oplossing.
- Latere fase (Stabilisatie): Naarmate de bibliothecaris verder loopt op dit nieuwe pad, vervaagt de "wind" (het willekeurige papier) omdat de gang langer wordt en het geheugen van de bibliothecaris aan het begin vervaagt. Ze vestigt zich in een zelfverzekerde pas op dit nieuwe pad.

3. Het "Gokken met dobbelstenen"-effect (Pass@N)

Het artikel vond dat als je de bibliothecaris vraagt om hetzelfde probleem 10 keer te proberen, maar elke keer een andere willekeurige krabbel geeft, je 10 verschillende paden krijgt.

Het resultaat: Zelfs als 9 van die paden verkeerd zijn, betekent het feit dat je de bibliothecaris hebt gedwongen om 10 verschillende startpunten te proberen, dat je veel waarschijnlijker het ene juiste pad onder hen zult vinden.
De valkuil: Als je voor alle 10 pogingen dezelfde willekeurige krabbel gebruikt, volgen ze allemaal hetzelfde verkeerde pad. De magie werkt alleen als de "wind" elke keer verandert.

4. Waarom dit belangrijk is

Het is gratis: Je hoeft niet wekenlang het model te trainen of nieuwe feiten te leren. Je voegt gewoon willekeurige ruis toe.
Het is structureel: Het artikel bewijst dat de "magie" van deze geavanceerde AI-trucs vaak voortkomt uit de structuur van het toevoegen van extra tokens, niet uit de specifieke inhoud van die tokens. Het is als het schudden van een doos met puzzelstukjes; dat kan je helpen sneller het juiste hoekstuk te vinden, zelfs als het schudden zelf de puzzel niet oplost.
Het helpt bij training: Ze toonden ook aan dat het gebruik van deze willekeurige "wind" tijdens de trainingsfase van het model het model sneller en beter laat leren, vergelijkbaar met hoe een trainer variatie in oefeningen kan brengen om een atleet te voorkomen dat hij verveelt of vastloopt in een routine.

Samenvatting

Het artikel beweert dat willekeur een krachtig hulpmiddel is. Door willekeurige, betekenisloze vectoren in de invoer van de AI te injecteren, dwing je deze vroeg in het proces om verschillende "wegen" naar het antwoord te verkennen. Zodra het een weg kiest, blijft het daarop, maar omdat je bent begonnen met een andere weg, kom je vaker op de bestemming aan dan wanneer je gewoon bij de gebruikelijke route bleef. Het blijkt dat soms dingen opschudden net zo effectief is als iets nieuws leren.

Technische Samenvatting: Van Ruis naar Diversiteit: Injectie van Random Embeddings in Redenering van Grootte Taalmodellen

Probleemstelling

Recent onderzoek naar redenering met Grootte Taalmodellen (LLM) heeft zich gericht op Soft Prompts, die trainbare continue embeddingvectoren in modelinvoer invoegen om het gedrag te sturen. Hoewel deze methoden (bijvoorbeeld Prefix-Tuning, SoftCoT, LTPO) prestatiewinst hebben aangetoond, blijft een kritieke ambiguïteit bestaan: wordt de verbetering gedreven door de geleerde inhoud van de geoptimaliseerde vectoren, of door de structurele daad van injectie zelf? Vorig werk schrijft winst toe aan geleerde representaties, maar theoretische beperkingen suggereren dat soft prompts alleen de aandacht in vaste richtingen beïnvloeden zonder de relatieve aandachtspatronen tussen inhoudstokens te veranderen. Bovendien vereisen bestaande methoden domeinspecifieke training, zijn ze gevoelig voor hyperparameters en missen ze een verenigde theoretische verklaring voor hun effectiviteit.

Methodologie: Random Soft Prompts (RSP)

Om de bijdrage van geleerde inhoud te ontwarren van de daad van injectie, stellen de auteurs Random Soft Prompts (RSP's) voor. RSP's zijn een trainingsvrije interventie waarbij een reeks willekeurige embeddingvectoren aan de invoer wordt toegevoegd.

Constructie: RSP-vectoren worden onafhankelijk bemonsterd uit een isotropische Gaussische verdeling die is aangepast aan de elementsgewijze gemiddelde ( $\mu_E$ ) en variantie ( $\sigma_E$ ) van de vooraf getrainde token-embeddingtabel.
$h_j \sim \mathcal{N}(\mu_E \mathbf{1}_d, \sigma_E^2 \mathbf{I}_d)$
Mechanisme: De methode rust op twee theoretische fasen:
1. Verkenning (Vroege Decoding): Wanneer de Key-Value (KV) cache kort is, is de aan de willekeurige tokens toegewezen aandachtmassa ( $w$ ) significant. Omdat de RSP isotroop is, verstoort deze de verborgen toestand in alle richtingen, wat potentieel de top- $K$ tokenvoorspellingen verschuift en diverse redeneertrajecten opent die afwijken van de baseline.
2. Afwarming (Latere Decoding): Naarmate de autoregressieve generatie vordert, groeit de KV cache. Theoretische analyse (Stelling 1) toont aan dat de bovengrens van de aan de vaste lengte RSP-volgorde toegewezen aandachtmassa monotoon afneemt naarmate het aantal echte tokens ( $n$ ) toeneemt. Bijgevolg verdunt de invloed van de RSP natuurlijk, waardoor het model zich kan committeren aan een enkel voltooiingspad.
Implementatie: RSP's worden ingebracht als suffix (standaard), prefix of infix. Cruciaal zijn ze vers opnieuw bemonsterd voor elke inferentie-uitrol of trainingsbaan, om onafhankelijkheid te garanderen.

Belangrijkste Bijdragen

Isolatie van Injectie-effecten: RSP biedt een verenigd perspectief om het structurele effect van soft prompt-injectie te bestuderen. Door de trainingsstap volledig te verwijderen, tonen de auteurs aan dat de daad van het injecteren van willekeurige vectoren op zichzelf voldoende is om nauwkeurigheid te induceren die vergelijkbaar is met geoptimaliseerde soft prompts.
Theoretische en Empirische Validatie: Het artikel vestigt een theoretisch kader dat aantoont hoe de aandachtmassa afneemt met de groei van de KV cache (Stelling 1) en hoe isotrope dekking zorgt voor bereikbaarheid van diverse vertakkingsstaten. Empirisch repliceren RSP's de vroege-decoding entropie-kenmerken van geoptimaliseerde methoden (LTPO, SoftCoT, TTSV) zonder enige geleerde parameters.
Uitbreiding naar Training: De auteurs breiden RSP uit van inferentie naar DAPO (een versterkingsleer-algoritme voor training), en tonen aan dat onafhankelijke RSP-herbemonstering tijdens rollouts samenwerkt met diversiteitsbehoud op verliesniveau om verdere prestatiewinst te opleveren.

Experimentele Resultaten

De auteurs hebben RSP geëvalueerd op benchmarks voor wiskundig redeneren (MATH-500, GSM8K, AIME24) met modellen zoals Qwen2.5-Math en LLaMA-3.1.

Nauwkeurigheidsverbeteringen: RSP bereikt nauwkeurigheid die vergelijkbaar is met of hoger is dan geoptimaliseerde soft prompts (TTSV, SoftCoT, LTPO) zonder training. Opvallend is dat RSP in format-mismatch scenario's (toepassing van ChatML-sjablonen op basismodellen die niet voor deze zijn getraind) aanzienlijke nauwkeurigheid herstelde (bijvoorbeeld +29,0 procentpunten op Qwen2.5-Math-1.5B voor MATH-500).
Diversiteit en Pass@N:
- Token-niveau: RSP induceert een duidelijke verschuiving in de eerste-tokenverdeling (Spearman $\rho = 0,709$ versus 1,0 voor temperatuurschaalvergroting), waardoor de ondersteuning uitbreidt buiten de top-10 tokens van de baseline.
- Traject-niveau: RSP genereert semantisch diverse redeneerpaden (hogere inter-cluster afstand) terwijl de coherentie binnen de groep behouden blijft.
- Resultaat-niveau: Pass@N (de kans op minstens één correct antwoord in $N$ pogingen) schaalt significant met onafhankelijke herbemonstering. Het delen van één RSP over monsters levert geen winst op, wat bevestigt dat diversiteit voortkomt uit de stochastische injectie en niet uit een vaste verstoring.
Integratie in Training: Bij DAPO-training resulteerde het toevoegen van RSP aan rollouts in een hogere piek gemiddelde nauwkeurigheid (54,36% versus 53,20% voor DAPO alleen) en vertraagde prestatiedegradering, wat wijst op verbeterde exploratie-exploitatie-dynamiek.

Betekenis en Claims

Het artikel beweert dat een aanzienlijk deel van het succes dat wordt toegeschreven aan "geleerde" soft prompts eigenlijk een structureel nevenproduct is van het injectiemechanisme zelf. De daad van het introduceren van willekeurige, isotrope verstoringen op de invoerlaag:

Verhoogt vroege-stadium token-diversiteit, waardoor het model in staat is redeneertrajecten te verkennen die mogelijk ontoegankelijk zijn via standaard temperatuurschaalvergroting (wat de rangorde behoudt).
Verzwakt automatisch naarmate de generatie vordert, waardoor de willekeurige ruis de uiteindelijke antwoorden niet destabiliseert.
Dient als controle die de beperkingen blootlegt van de aanname in vorig werk dat geleerde inhoud de primaire drijver is van verbeteringen in redeneren.

De auteurs concluderen dat RSP een eenvoudige, trainingsvrije alternatief biedt voor het verbeteren van redeneerdiversiteit en nauwkeurigheid, met name in scenario's waar format-uitlijning slecht is of waar onafhankelijke trajectexploratie cruciaal is voor RL-gebaseerde training. Ze wijzen op beperkingen met betrekking tot de theoretische verklaring van laagsgewijze afname en de toepasbaarheid op niet-wiskundige taken, en positioneren het werk als een fundamentele analyse van injectiedynamiek in plaats van een ingezet oplossing.