Technische Samenvatting: Neurale Diversiteit Regulariseert Hallucinaties in Taalmodellen

Probleemstelling

Ondanks het opschalen van parameters, rekenkracht en data, blijven taalmodellen (LM's) kampen met hardnekkige hallucinaties. Deze betrouwbaarheidscrisis is bijzonder acuut voor kleine taalmodellen (SLM's), die steeds vaker worden geprefereerd voor edge- en agentische toepassingen, maar die beschikken over gecomprimeerde representaties die hen kwetsbaar maken voor het genereren van feitelijk onjuiste of inconsistente inhoud.

Huidige mitigatiestrategieën richten zich grotendeels op het optimaliseren van de gemiddelde prestaties (verbeteringen in het eerste moment) in plaats van op het beheersen van het risico op uitschieters (tail risk). Technieken zoals Reinforcement Learning from Human Feedback (RLHF), Retrieval-Augmented Generation (RAG) en contrastieve decodering beogen de gemiddelde ongevaarlijkheid of feitelijke gronding te verbeteren. Deze methoden missen echter formele garanties met betrekking tot de waarschijnlijkheid van catastrofale fouten (hallucinaties). Bovendien lijden bestaande parallelle schaalmethoden vaak aan "representationele instorting" (representational collapse), waarbij parallelle stromen convergeren naar vergelijkbare representaties, waardoor de winst in betrouwbaarheid uitblijft. Het artikel stelt dat hallucinaties, voortvloeiend uit gecorreleerde representatieve fouten in plaats van ontbrekende kennis, een betrouwbaarheidsprobleem van het tweede moment vormen dat vatbaar is voor portfolio-theoretische diversificatie.

Methodologie

Theoretisch Kader: Portfoliotheorie voor Hallucinaties

De auteurs herformuleren de waarschijnlijkheid van hallucinaties als een betrouwbaarheidsprobleem van het tweede moment dat wordt beheerst door de representatieve covariantie. Gebruikmakend van Markowitz' portfoliotheorie (1952), stellen zij voor dat gedecorreleerde parallelle representaties ("neurale diversiteit") de bovengrens van de waarschijnlijkheid van hallucinaties kunnen verlagen.

• Signaal-Ruis Model: Het model gaat uit van $P$ parallelle computationele stromen die dezelfde input verwerken. Elke stroom produceert een verborgen representatie $Z_i = z^* + \epsilon_i$, waarbij $\epsilon_i$ ruis is.
• Neurale Diversiteitsindex ($D$): Een op de cosinus gebaseerde index meet de cross-stroom diversiteit. $D=0$ impliceert perfecte orthogonaliteit, terwijl $D=1$ volledige instorting impliceert.
• Theoretische Grenzen:
  • Stelling 1: Bewijst dat de hallucinatiekans $P(H_\delta)$ begrensd wordt door een functie van neurale diversiteit $D$ en het aantal stromen $P$. Specifiek, bij perfecte decorrelatie, schaalt $P(H_\delta)$ als $O(1/P)$.
  • Stelling 2: Demonstreert niet-monotoon schaalgedrag. Hoewel het verhogen van $P$ aanvankelijk de hallucinaties vermindert, kan excessieve parallelliteit leiden tot verhoogde correlatie (door optimizer-beperkingen), wat de betrouwbaarheid doet verslechteren. Dit resulteert in een U-vormige curve waarbij een optimaal $P^*$ bestaat voor een gegeven taak.

ND-LoRA: Neurale Diversiteit Low-Rank Adaptatie

Om deze theorie te operationaliseren, introduceren de auteurs ND-LoRA, een efficiënte architectuur voor parameter-efficiënte adaptatie die parallelle LoRA-adapters combineert met expliciete decorrelatie-regularisatie.

• Architectuur: Het model maakt gebruik van $P$ parallelle stromen. Elke stroom gebruikt:
  • Stroom-specifieke LoRA-adapters: Toegepast op elke laag om de representatie te verstoren.
  • Leerbare Prefix Tokens: 48 tokens die aan het begin van de inputsequentie worden toegevoegd.
  • Multi-Stream Aggregator: Een geleerd mechanisme om de output van stromen te combineren met dynamische gewichten, om aandacht-instorting (attention collapse) te voorkomen.
• Regularisatie: De trainingsdoelstelling bevat Barlow Twins regularisatie ($L_{BT}$) toegepast op paren van stromen op een aangewezen design-laag. Dit dwingt de cross-correlatiematrix van de "whitened" features tussen stromen om de identiteitsmatrix te benaderen, wat de representatieve redundantie expliciet minimaliseert.
• Kosten-efficiëntie: De backbone blijft bevroren; alleen de parallelle adapters en de aggregator worden getraind. Dit brengt een verwaarloosbare kostenpost voor voortgezette pretraining met zich mee (+0,008% van de voortgezette pretraining) en een bescheiden toename in inferentie-latentie (1,1×).

Belangrijkste Bijdragen

1. Theoretische Koppeling: Het artikel biedt het eerste formele kader voor de bovengrens van de waarschijnlijkheid van hallucinaties in ensemble-LM's. Het bewijst dat neurale diversiteit deze grenzen verlaagt en stelt de existentie van een optimaal parallelliteitsniveau ($P^*$) vast dat hallucinaties minimaliseert, waarbij 94,3% van de variatie in betrouwbaarheid in hun setting wordt verklaard.
2. Constructieve Demonstratie (ND-LoRA): De auteurs demonstreren de empirische haalbaarheid door de hallucinaties met maximaal 25,6% (gemiddeld 14,6%) te verminderen op een klein taalmodel (Qwen2.5-0.5B) zonder de algemene capaciteiten te verslechteren. Dit wordt bereikt tegen nagenoeg nul extra rekenkosten.
3. Mechanistische Analyse: Door middel van ablaties en causale interventies stellen de auteurs vast dat neurale diversiteit de bemiddelende factor is.
   • Causaliteit: Het kunstmatig corrumperen van diversiteit leidt tot statistisch significante nauwkeurigheidsdalingen ($p < 0,001$).
   • Synergie: LoRA-adapters en Barlow Twins-regularisatie werken synergetisch; beiden alleen volstaat niet voor maximale winst.
   • Taakafhankelijkheid: Verschillende taken vereisen verschillende optimale diversiteitsniveaus. Op hallucinaties gerichte taken profiteren van hogere diversiteit, terwijl taken voor kennisretentie vaak pieken bij $P=1$.

Experimentele Resultaten

De evaluatie werd uitgevoerd op Qwen2.5-0.5B, getraind op 20 miljoen tokens van The Pile, en geëvalueerd over 12 taken.

• Reductie van Hallucinaties: ND-LoRA behaalde significante verbeteringen op hallucinatie-benchmarks vergeleken met parameter-gelijke baselines:
  • HaluEval (Samenvatting): +25,6% relatieve verbetering ($P^*=4$).
  • HaluEval (QA): +23,4% relatieve verbetering ($P^*=4$).
  • TruthfulQA (MC2): +9,5% relatieve verbetering ($P^*=2$).
  • MemoTrap v2: +8,8% relatieve verbetering ($P^*=8$).
• Behoud van Capaciteiten: Algemene capaciteiten (gemeten via NQ, Winogrande, Wikitext BPB) werden behouden of licht verbeterd, wat wijst op geen "kennisbelasting" (knowledge tax).
• Vergelijking met Baselines: ND-LoRA presteerde beter dan interventies tijdens de inferentie (Context-Aware Decoding, Activation Decoding) en training-tijd disagreement-regularisatie, met een gemiddelde reductie van 14,6% in hallucinaties tegenover +4,1% voor de op één na beste methode.
• Theoretische Fit: De empirische relatie tussen neurale diversiteit en betrouwbaarheid kwam overeen met de theoretische voorspelling met een $R^2$ van 0,943.

Betekenis en Claims

Het artikel claimt een paradigmaverschuiving te bieden in het aanpakken van de betrouwbaarheid van LM's door hallucinaties te herformuleren als een probleem van het tweede moment (variantie en correlatie) in plaats van een probleem van het eerste moment (gemiddelde nauwkeurigheid).

• Orthogonaal aan Schaling: Neurale diversiteit maakt betrouwbaarheidswinst mogelijk zonder massale opschaling van parameters of data. Het controleert de waarschijnlijkheid van de staart door de variantie en de correlatiestructuur te beheren in plaats van de capaciteit.
• Kostenefficiëntie: De aanpak realiseert substantiële verbeteringen in betrouwbaarheid met nagenoeg nul pretraining-overhead en slechts een 1,1× inferentie-latentieboete, wat het geschikt maakt voor latentie-tolerante, veiligheidskritische implementaties.
• Taakspecifieke Optimaliteit: Het werk benadrukt dat betrouwbaarheid geen monolithische eigenschap is; verschillende taken vereisen verschillende graden van neurale diversiteit. Dit suggereert een beweging weg van "one-size-fits-all" schalingswetten naar een geprincipeerd architecturaal ontwerp gebaseerd op taalkarakteristieken.

De auteurs concluderen dat hoewel hun demonstratie op een klein model is uitgevoerd, het theoretische kader en de lage overhead suggereren dat neurale diversiteit een schaalbaar, praktisch mechanisme is om de betrouwbaarheid van taalmodellen in scenario's met hoge inzet te verbeteren.