Technische Samenvatting: NoisyCoconut: Counterfactuele Consensus via Redenering in de Latente Ruimte

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in omgevingen met hoge risico's, maar ze missen inherente mechanismen om onzekerheid aan te geven en produceren vaak zelfverzekerde maar foutieve output (hallucinaties). Hoewel selectieve voorspelling—waarbij modellen zich kunnen onthouden van het beantwoorden van vragen bij onzekerheid—een goed gevestigde strategie is om de betrouwbaarheid te verbeteren bij classificatietaken, is het moeilijk toe te passen op generatieve LLMs. Token-niveau waarschijnlijkheden reflecteren vaak linguïstische onzekerheid in plaats van feitelijke juistheid, en bestaande methoden voor inferentie (zoals zelf-consistentie via token-sampling) zijn beperkt tot de diversiteit die aanwezig is in de oppervlakkige token-verdeling. Bovendien vereisen methoden voor redenering in de latente ruimte, die direct werken op continue verborgen staten, doorgaans gespecialiseerde training en missen ze ingebouwde mechanismen voor schatting van vertrouwen.

Methodologie

Het artikel introduceert NoisyCoconut, een trainingsvrije methode voor tijdens de inferentie die de betrouwbaarheid van LLMs verbetert door manipulatie van interne representaties in de continue latente ruimte. Op basis van het Continuous Chain-of-Thought (Coconut)-kader (Hao et al., 2025), dat redenering mogelijk maakt door de laatste verborgen staat terug te voeren als de volgende input-embedding, wijkt NoisyCoconut af door zich te richten op vertrouwensschatting in plaats van modellen te trainen om te redeneren in de latente ruimte.

De kernmechaniek omvat gecontroleerde ruisinjectie in de latente trajecten van een voorgetraind model:

1. Ruisinjectie: Voor een gegeven inputvraag genereert de methode meerdere redeneerpaden ($K$) door onafhankelijke Gaussische ruis ($\eta_t$) in te brengen in de verborgen staten tijdens de forward pass. De ruisschaal $\sigma_t$ neemt exponentieel af over de tijdstappen en wordt adaptief geschaald op basis van de norm van de verborgen staat om betekenisvolle divergentie te waarborgen terwijl coherentie behouden blijft.
2. Padexploratie: Deze verstoring induceert vertakking naar alternatieve redeneertrajecten binnen de continue representatieruimte, waardoor effectief verschillende regio's van de oplossingsruimte worden verkend zonder tussenliggende tokens te genereren.
3. Aggregatie en Onthouding: De output van de $K$ paden wordt geaggregeerd. Het systeem hanteert een meerderheidsstemstrategie om een consensusoutput te bepalen. Cruciaal kan het systeem zich onthouden (aangeduid als $\perp$) als de overeenstemming tussen de paden onder een specifieke drempel valt (bijvoorbeeld vereisend op eenparige overeenstemming van 5/5).
4. Vertrouwenssignaal: De mate van overeenstemming tussen de met ruis verstoorde paden dient als proxy voor voorspellingsvertrouwen. Hoge overeenstemming geeft aan dat het model zich in een stabiel "attractor-bekken" bevindt waar de oplossing robuust is tegen verstoring, terwijl lage overeenstemming wijst op representatieve instabiliteit en hoge onzekerheid.

Belangrijkste Bijdragen

De auteurs leveren vier primaire bijdragen:

1. NoisyCoconut Kader: Een nieuwe, trainingsvrije methode voor tijdens de inferentie die diverse redeneerpaden genereert via gecontroleerde ruisinjectie in de continue latente ruimte, waardoor overeenstemmingsgebaseerde vertrouwensschatting direct op verborgen staten mogelijk wordt.
2. Validatie van Padovereenstemming: Empirisch bewijs dat padovereenstemming een betrouwbare proxy biedt voor voorspellingsvertrouwen, waardoor effectieve afwegingen tussen dekking en nauwkeurigheid mogelijk zijn.
3. Karakterisering van de Ruis-Nauwkeurigheidsrelatie: Analyse die een consistente sigmoïde degradatiepatroon in modelnauwkeurigheid aantoont naarmate de ruisschalen toenemen, wat bevestigt dat ruisinjectie voorspelbare en benutbare effecten produceert over verschillende architecturen heen.
4. Prestaties op Benchmark: Bewijs dat NoisyCoconut significante afwegingen tussen dekking en nauwkeurigheid bereikt over drie redeneerbenchmarks (GSM8K, GSM-Symbolic, MMLU) en vijf verschillende taalmodellen (inclusief Qwen-, Llama-, Mixtral- en DeepSeek-varianten), zonder toegang tot trainingsdata of wijziging van parameters te vereisen.

Resultaten

Experimenten uitgevoerd op vijf taalmodellen en drie benchmarks leveren de volgende bevindingen op:

• Foutreductie: Eenparige overeenstemming (5/5) tussen met ruis verstoorde paden verlaagt de foutpercentages van een basislijn van 40–70% naar onder de 15%.
• Hoge Nauwkeurigheid via Onthouding: Door selectief af te zien van voorspellingen met laag vertrouwen (waar padovereenstemming laag is), bereiken modellen meer dan 95% nauwkeurigheid op wiskundige redeneertaken (bijvoorbeeld GSM8K). Bijvoorbeeld, het DeepSeek-R1-Distill-Qwen-7B-model verbeterde van een basislijn van 62,0% naar 95,2% bij de drempel van eenparige overeenstemming, zij het met een verminderde dekking (31,4%).
• Gelijkstellend Effect: Zwakkere basislijnmodellen vertonen de grootste absolute nauwkeurigheidsverbeteringen onder filtering met hoge overeenstemming, wat suggereert dat NoisyCoconut zwakkere modellen kan helpen de betrouwbaarheid van sterkere tegenhangers te benaderen op het subset van vragen waarbij ze hoog vertrouwen tonen.
• Ruisgevoeligheid: Een systematische evaluatie onthulde een consistente sigmoïde afname in nauwkeurigheid naarmate de ruisschalen toenamen, met $R^2 \ge 0,94$ fits over alle modellen, wat wijst op een faseovergang in modelgedrag van robuuste redenering naar bijna-willekeurige prestaties.

Betekenis en Claims

Het artikel claimt dat NoisyCoconut een praktische weg biedt om de betrouwbaarheid van LLMs te verbeteren zonder de rekenkosten van hertraining of fine-tuning. Door overeenstemmingsgebaseerde vertrouwensschatting uit te breiden naar de latente ruimte, maakt de methode gebruik van de continue representatieruimte om onzekerheid bloot te leggen die niet zichtbaar is in token-niveau verdelingen.

De auteurs stellen dat de correlatie tussen padovereenstemming en juistheid suggereert dat onzekerheid in LLMs zichtbaar is in de latente ruimte. Wanneer ruisverstoringen leiden tot divergente paden, werkt het model waarschijnlijk in een regio van representatieve instabiliteit; omgekeerd duidt convergentie naar hetzelfde antwoord op een stabiele oplossing die robuust is tegen verstoring. Deze aanpak maakt de inzet van LLMs mogelijk in gereguleerde sectoren waar nauwkeurigheid en controleerbaarheid cruciaal zijn, en biedt een mechanisme om dekking in te wisselen voor hoge nauwkeurigheid bij hoog vertrouwen.

Het artikel erkent beperkingen, waaronder de vereiste van toegang tot interne modelstaten (wat de toepasbaarheid beperkt tot open-weight modellen), de huidige focus op taken met discrete of goed gedefinieerde antwoorden, en de rekenkosten van het genereren van meerdere paden. Het presenteert deze echter als kansen voor toekomstig werk in adaptieve ruisschaling, semantische aggregatie voor open-ended generatie, en integratie met speculatieve decoding om kosten te verlagen.