Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability

Technische Samenvatting: Geometrische Afwijking als een Zelftoezichtloos Pre-Generatie Betrouwbaarheidssignaal

Probleemstelling
Hallucinatie – het genereren van zelfverzekerde maar onjuiste antwoorden – blijft een kritieke betrouwbaarheidsuitdaging voor ingezette Large Language Models (LLM's). Hoewel eerdere werken onzekerheidskalibratie, interne proberende classifiers en representatiesturing hebben onderzocht, vertrouwen veel bestaande methoden op gelabelde falingsdata, vereisen toegang tot modeloutput (na generatie) of zijn gevoelig voor specifieke modelarchitecturen. De centrale vraag die dit werk adresseert, is of zelftoezichtloze representatiegeometrie alleen kan fungeren als een praktisch pre-generatie betrouwbaarheidssignaal. Kan het model specifiek detecteren dat een query onbeantwoordbaar is voordat er tokens worden gegenereerd, zonder gelabelde falingsvoorbeelden of output-sampling?

Methodologie
De auteurs stellen een minimale, zelftoezichtloze aanpak voor die de cosine-afstand meet van de verborgen toestand van een prompt tot het zwaartepunt van een referentiestel van bekende beantwoordbare prompts ("representaties van de beantwoordbare klasse").

• Experimenteel Ontwerp: Het onderzoek maakt gebruik van drie instructie-gefineerde modellen van vergelijkbare schaal (7–8B parameters): Llama 3.1-8B, Qwen 2.5-7B en Mistral-7B.
• Promptconstructie (Gekoppelde Paren): Om beantwoordbaarheid te isoleren van oppervlakkige variaties (domein, lengte, syntaxis), construeren de auteurs gekoppelde paren voor drie promptvormen:
  • MATH: Goed gedefinieerde rekenkundige/algebraïsche vragen (Beantwoordbaar, A) gekoppeld aan structureel identieke varianten met ongedefinieerde hoeveelheden of bewerkingen (Onbeantwoordbaar, U).
  • FACT: Verifieerbare feitelijke vragen gekoppeld aan varianten die verwijzen naar onkenbare toekomstige gebeurtenissen of niet-bestaande entiteiten.
  • CODE: Python-uitdrukkingen met deterministische returns gekoppeld aan varianten die ongedefinieerd zijn, uitzonderingen veroorzaken of onbegrensde berekening vereisen.
• Signaalextractie: Verborgen toestanden worden geëxtraheerd, gemiddeld gepooled over invoertokens en gemiddeld gecentreerd om anisotropie te verwijderen. De betrouwbaarheidsscore is de cosine-afstand van een prompt tot het zwaartepunt van de Beantwoordbare (A) set binnen zijn specifieke vorm.
• Basislijnen: Het geometrische signaal wordt vergeleken met:
  1. Refusal-basislijn: Een trefwoordclassificatie op de gegenereerde output (detectie van expliciete weigeringen).
  2. Zelfconsistentie (SC): Een post-generatie basislijn die 5 samples gebruikt om output-ongebruikelijkheid te meten.

Belangrijkste Bijdragen en Bevindingen

1. Geometrie codeert Taakvorm: Representatiegeometrie is primair georganiseerd door de syntactische vorm van de taak (Wiskunde, Feit, Code) en niet alleen door semantische inhoud. Onbeantwoordbare prompts binnen een specifieke vorm blijven doorgaans binnen de geometrische cluster van die vorm, hoewel hun positie ten opzichte van het zwaartepunt varieert.
2. Vorm-voorwaardelijk Betrouwbaarheidssignaal:
   • MATH (Sterk Signaal): Onbeantwoordbare wiskundeprompten wijken consequent af van het beantwoordbare zwaartepunt. Dit resulteert in sterke scheiding over alle drie de modellen (ROC-AUC 0,78–0,84), wat significant beter presteert dan zowel de refusal-basislijn als zelfconsistentie. Het signaal vangt gevallen op waarin modellen hallucineren zonder expliciet te weigeren.
   • FACT (Geen Signaal): Er treedt geen betrouwbare geometrische scheiding op voor feitelijke onbeantwoordbaarheid (p > 0,34). Feitelijke onbeantwoordbaarheid (bijv. toekomstige gebeurtenissen) is syntactisch niet te onderscheiden van beantwoordbare feiten, waardoor de geometrische cluster intact blijft.
   • CODE (Gemengd/Variabel Signaal): Er worden grote effectgroottes waargenomen (Cohen's d > 1,0), wat suggereert dat het fenomeen zich uitstrekt tot code, hoewel de statistische significantie gemengd is vanwege een hogere variantie binnen de groep in Python-uitdrukkingen in vergelijking met wiskunde.
3. Lagen-specifiek Signaalprofiel: Het beantwoordbaarheidssignaal is een vroege-laag fenomeen. De kloof tussen beantwoordbare en onbeantwoordbare representaties piekt bij lagen 2–5 en neemt over het algemeen af richting de laatste laag. Deze afname wordt gedreven door beantwoordbare representaties die in diepere lagen afwijken naar een "generatie-klaar" manifold, en niet door het vervagen van onbeantwoordbare signalen.
4. Cross-Model Consensus versus Gedragsdivergentie: Er is sterke geometrische consensus tussen modellen over specifieke typen onbeantwoordbare prompten (bijv. "het grootste priemgetal"), wat aangeeft dat het signaal structurele eigenschappen op invoerniveau weerspiegelt. Het gedrag divergeert echter: Qwen neigt deze prompten te weigeren, terwijl Llama vaak hallucineert. Dit suggereert dat alignementtraining bepaalt hoe modellen handelen op geometrische anomalieën, en niet het bestaan van het anomalie-signaal zelf.

Betekenis en Claims
Het artikel beweert dat geometrische afwijking dient als een lichtgewicht, zelftoezichtloos, pre-generatie betrouwbaarheidssignaal, maar met duidelijke grenzen:

• Effectiviteit: Het is zeer effectief in gestructureerde domeinen waar onbeantwoordbaarheid structurele inconsistenties introduceert (bijv. wiskundige ongedefinieerde bewerkingen, slecht getypeerde code). In deze gevallen presteert het beter dan output-gebaseerde basislijnen (refusal-trefwoorden, zelfconsistentie) en werkt het met zero inferentielatentie.
• Beperkingen: Het signaal is vorm-voorwaardelijk, niet universeel. Het faalt bij het detecteren van onbeantwoordbaarheid in open-domein feitelijke queries waar de syntaxis geldig blijft ondanks dat de inhoud onkenbaar is.
• Mechanisme: Het signaal wordt vroeg in het netwerk gevestigd (lagen 2–5), wat suggereert dat het model structurele schendingen codeert voordat het zich vastlegt op een generatiestrategie.

Conclusie
De auteurs concluderen dat geometrische afwijking, hoewel geen universele hallucinatiedetector, een principiële, kostenefficiënte mechanisme biedt voor pre-generatie betrouwbaarheidscontroles in domeinen met formele beantwoordbaarheidsbeperkingen. De bevindingen benadrukken dat de relatie tussen interne geometrie en modelgedrag wordt gemoduleerd door alignementtraining, en dat activaties in vroege lagen sterkere betrouwbaarheidssignalen kunnen bieden dan de laatste outputlaag.