Technische Samenvatting: De Topologie van Ill-Posed Vragen

Probleemstelling

Large Language Models (LLMs) worden frequent geconfronteerd met ill-posed vragen (slecht gestelde vragen)—queries die ambigu, ondergespecificeerd, tegenstrijdig zijn of een gebrek aan noodzakelijke context vertonen. In tegenstelling tot goed gestelde problemen, kunnen deze queries ofwel geen geldig antwoord toelaten, ofwel meerdere plausibele interpretaties. Bestaande benaderingen voor het afhandelen van ill-posedness vertrouwen grotendeels op het analyseren van modeloutputs (bijv. het detecteren van weigeringspatronen) of richten zich op specifieke subklassen van ambiguïteit via input-output herschrijving. Deze methoden behandelen de LLM vaak als een black box, waardoor ze er niet in slagen de verenigde interne representatie van diverse bronnen van ill-posedness te vatten. Gevolgelijk vervallen huidige sturingsmechanismen vaak in generieke weigeringssjablonen in plaats van het model te begeleiden naar bron-bewuste verheldering of gerichte onthouding.

Methodologie

Het artikel stelt een raamwerk voor dat het gedrag van LLMs analyseert en stuurt door de interne verborgen toestanden (hidden states) van prompt-tokens te modelleren als een topologische structuur.

1. Laag-gewijze Token Cloud Representatie

In plaats van een prompt samen te persen tot één enkele gepoolde vector, behandelen de auteurs de contextuele verborgen toestanden van prompt-tokens in elke transformer-laag $l$ als een puntenwolk (point cloud) $X^{(l)}(q)$.

• Dimensiereductie: Om ruis en computationele kosten te beheersen, worden token-toestanden geprojecteerd in een lager-dimensionale ruimte met behulp van Principal Component Analysis (PCA), aangepast op de trainingsset.
• Topologische Analyse: De geometrie van deze token-wolken wordt geanalyseerd met behulp van eindige zero-dimensionale persistente homologie ($H_0$). Deze methode volgt hoe aanvankelijk niet-verbonden token-componenten samensmelten naarmate een afstandsdrempel (filtratieradius) toeneemt.
• Interpretatie: Een goed gestelde vraag induceert token-toestanden die vroeg in de filtratie samensmelten tot een coherente structuur. Een ill-posed vraag behoudt gescheiden of ongelijkmatig verbonden groepen (die onopgeloste entiteiten, contexten of beperkingen vertegenwoordigen) tot grotere schalen, wat resulteert in onderscheidende fusiepatronen.

2. Compacte Topologische Descriptoren

Voor elke laag wordt de eindige $H_0$ persistentie-diagram samengevat in drie vast-dimensionale scalaire descriptoren:

1. Gemiddelijke Eindige Levensduur ($\mu$): De gemiddelde schaal waarop componenten samensmelten, wat de mate van fragmentatie aangeeft.
2. Genormaliseerde Levensduur Entropie ($E$): Meet de distributie van fusiegebeurtenissen (diffuus versus geconcentreerd).
3. Grootste-Levensduur Concentratie ($R$): De ratio van de som van de vijf grootste levensduur-waarden tot het totaal, wat de dominantie van grote scheidingen vastlegt.

Deze descriptoren worden over alle $L$ lagen geconcateneerd om een topologie-vector $z(q) \in \mathbb{R}^{3L}$ te vormen die de vraag representeert.

3. Topologie-geconditioneerde Activatie Sturing

Het raamwerk gebruikt deze topologie-vectoren voor twee doeleinden:

• Classificatie: Een gesuperviseerde classifier voorspelt binaire ill-posedness of fijnmazige subtypen (bijv. polysemie, ontbrekende temporele context) direct vanuit de topologie-vector.
• Lokale Sturing: In plaats van een enkele globale "onthoudingsrichting" toe te passen, haalt de methode topologisch gelijkaardige positieve (verheldering/onthouding) en negatieve (direct antwoord) voorbeelden uit de trainingsset.
  • Een lokale sturingsvector $v_{local}$ wordt geconstrueerd als het verschil tussen de gemiddelde activaties van deze opgehaalde buren.
  • Deze vector wordt toegevoegd aan de verborgen toestanden tijdens de prefill- en decodeerfasen, waardoor het model wordt gestuurd naar een respons die de specifieke bron van de ill-posedness adresseert terwijl de oorspronkelijke semantische inhoud van de vraag behouden blijft.

Belangrijkste Bijdragen

1. Verenigde Topologische Representatie: Introduceerde een laag-gewijze token-cloud representatie die de multiscale connectiviteit van ill-posed vragen kwantificeert met behulp van eindige $H_0$ persistente homologie.
2. Compacte Feature Extractie: Toonde aan dat drie compacte statistieken (gemiddelde levensduur, entropie, concentratie) afgeleid van $H_0$ levensduur-waarden een robuuste, laag-dimensionale representatie vormen die zowel binaire detectie als fijnmazige 9-weg classificatie van ill-posedness ondersteunt.
3. Topologie-geconditioneerde Sturing: Ontwikkelde een sturingsmechanisme dat topologische gelijkenis gebruikt om query-specifieke contrastparen te selecteren, waardoor het model kan verschuiven van direct antwoorden naar bron-bewuste onthouding of verheldering zonder te vervallen in generieke weigeringen.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op drie open-weight LLM's (Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3) over drie benchmarks: AmbigQA en SituatedQA (binaire detectie) en CLAMBER (9-weg fijnmazige classificatie).

• Classificatieprestaties:

  • AmbigQA: Nauwkeurigheid verbeterde van 67,4% (AEN baseline) naar 78,9%.
  • SituatedQA: Nauwkeurigheid verbeterde van 79,9% naar 88,5%.
  • CLAMBER (9-weg): Nauwkeurigheid verbeterde van 57,6% naar 69,6%.
  • De topologie-features presteerden consequent beter dan prompt-gebaseerde baselines (zero-shot, few-shot, CoT) en neuron-probing baselines (AEN).

• Sturingsprestaties:

  • Topologie-geconditioneerde sturing verhoogde de Grounded Acceptable respons-ratio (responsen die de specifieke ontbrekende/ambigue elementen correct identificeren en adresseren) van 11,9% naar 16,4% gemiddeld.
  • De Total Acceptable ratio (grounded + generic) steeg van 61,4% naar 70,6%.
  • Cruciaal is dat de methode "generieke" weigeringen verminderde ten gunste van "grounded" responsen, wat aangeeft dat de sturing succesvol de vraag-specifieke informatie behield terwijl het de respons-gedraging veranderde.

Betekenis en Claims

Het artikel claimt dat persistente homologie een interpreteerbare representatie biedt van ill-posedness die vastlegt hoe de interne connectiviteitsstructuur van het model transformeert over de lagen. De betekenis ligt in het aantonen dat:

1. Ill-posedness niet louter een output-niveau fenomeen is, maar gecodeerd is in de geometrische ordening van token-toestanden tijdens de prefill-fase.
2. Topologische descriptoren kunnen dienen als effectieve retrieval keys voor lokale activatie sturing, wat gerichte interventies mogelijk maakt die gevoelig zijn voor het specifieke subtype van de ill-posedness (bijv. het onderscheid tussen lexicale ambiguïteit en ontbrekende temporele context).
3. Deze benadering gaat verder dan vaste weigeringssjablonen, waardoor LLM's responsen kunnen produceren die zowel onthoudend (wanneer nodig) als informatief zijn over de specifieke aard van de ambiguïteit van de query.

De auteurs merken beperkingen op, waaronder de beperkte reikwijdte tot drie instruction-tuned modellen en drie QA-benchmarks, en suggeren dat toekomstig werk hogere-dimensionale homologie ($H_1$) zou kunnen verkennen of de aggregatiegewichten van lagen zou kunnen leren.