Technische Samenvatting: Detectie van Ontrouw Redeneren via Circuit-Gestuurde Interne-Externe Discrepantie

1. Probleemdefinitie

Redeneren via Chain-of-Thought (CoT) stelt Large Language Models (LLM's) in staat om tussenstappen in tekst te genereren voordat ze een definitief antwoord geven, wat de prestaties op complexe taken aanzienlijk verbetert. Een kritiek probleem doet zich echter voor wanneer deze gegenereerde redeneertraces de daadwerkelijke interne besluitvormingsprocessen van het model niet trouw weerspiegelen. Waar bestaande detectiemethoden zich richten op externe signalen—zoals tekstuele plausibiliteit, consistentie van het antwoord of contrafactuele ingrepen— negeren ze vaak bewijs uit de interne berekening van het model.

Dit artikel behandelt twee hoofduitdagingen:

1. Uitdaging 1: Hoe ontrouw in CoT te detecteren met bewijs uit het interne besluitvormingsproces van het model, in plaats van uitsluitend te vertrouwen op de kwaliteit van het redeneren op oppervlakkig niveau.
2. Uitdaging 2: Hoe interne interpreteerbaarheidssignalen voor detectie te benutten zonder de verbodsdure rekenkosten van het construeren van volledige redeneercircuits voor lange CoT-traces.

Het doel is detectie op het niveau van individuele gevallen: bepalen of een specifieke gegenereerde CoT-traject $C$ trouw de interne redeneerprocessen $R_M(q)$ van het model weerspiegelt voor een gegeven query $q$.

2. Methodologie: CIE-SCORER

De auteurs stellen Circuit-guided Internal-External Discrepancy Scorer (CIE-SCORER) voor, een raamwerk dat ontrouw kwantificeert door de discrepantie te meten tussen de getoonde redeneertrace en de interne computatietrajectorie van het model.

2.1 Constructie van Token-Selecte Circuiten per Stap

Om de schaalbaarheid uitdaging van volledige circuit-tracing aan te pakken, werkt CIE-SCORER op zinsniveau in plaats van op token-niveau voor de hele trace.

• Token-selectie: In plaats van alle tokens in een redeneerszin te traceren, selecteert de methode een compacte set informatieve tokens. Dit wordt bereikt door een combinatie van:
  • Op entropie gebaseerde selectie: Het identificeren van tokens met hoge onzekerheid (hoge entropie), die waarschijnlijk redeneringsrelevante informatie dragen.
  • Contrafactuele noodzaak: Het meten van het causale effect van een token door erin te interveniëren (het vervangen) en veranderingen te observeren in zowel de semantische inhoud van de zin als de downstream voorspellende verdeling.
• Gecomprimeerde circuitgrafieken: Met behulp van de geselecteerde tokens als ankers, construeert de methode attributiecircuiten op zinsniveau via een transcoder-gebaseerd vervangingsmodel. Dit levert een reeks compacte grafieken $G^{circ} = (G^{circ}_1, \dots, G^{circ}_T)$ op die de interne berekening voor elke redeneerstap vertegenwoordigen.

2.2 Interne en Externe Representaties

Het raamwerk construeert twee parallelle representaties voor de redeneertrace:

• Interne Representatie: De reeks circuitgrafieken op zinsniveau wordt gecodeerd naar latente embeddings ($X^{int}$) met behulp van een Graph Neural Network (GNN). Deze embeddings vangen de witte-doos computatietrajectorie van het model op.
• Externe Representatie: De getoonde redeneersinnen worden gecodeerd naar embeddings ($X^{ext}$) door het gemiddelde te nemen van verborgen staten uit een tussenlaag van de LLM. Een lichtgewicht MLP-adaptor projecteert deze naar dezelfde dimensie als de interne embeddings.

2.3 Scoring van Grafische Discrepantie

Beide representaties worden omgezet in graafstructuren op trace-niveau per zin ($G^{int}$ en $G^{ext}$) met behulp van een gedeelde constructieregel. Knopen vertegenwoordigen redeneersinnen, en randen coderen temporele progressie en semantische afhankelijkheden.

• Gefuseerde Gromov–Wasserstein (FGW) Afstand: De score voor ontrouw wordt berekend als de FGW-afstand tussen de interne en externe grafieken. Deze metriek neemt gezamenlijk in overweging:
  • Feature-discrepantie: Of de inhoud van een getoonde stap overeenkomt met het interne computatiebewijs.
  • Structurele discrepantie: Of de afhankelijkheden tussen getoonde stappen overeenkomen met de interne informatie-stroomstructuur.
• Trainingsdoel: Het model wordt getraind met een verlies op basis van een marge om de FGW-afstand te minimaliseren voor trouwe traces en te maximaliseren (boven een marge $m$) voor ontrouwe traces.

3. Belangrijkste Bijdragen

1. Nieuw Perspectief: Dit werk formuleert detectie van ontrouw in CoT vanuit een circuit-gestuurde interne-externe discrepantieperspectief, wat de eerste integratie vertegenwoordigt van model-interne berekening met externe redeneertraces voor analyse op het niveau van individuele gevallen.
2. Efficiënt Raamwerk (CIE-SCORER): De auteurs stellen een methode voor die token-selecte circuit-tracing uitvoert, circuiten op zinsniveau comprimeert tot embeddings, en deze vergelijkt met externe representaties met behulp van FGW-afstand. Deze aanpak vermijdt de kosten van volledige circuitconstructie terwijl belangrijke interne signalen behouden blijven.
3. State-of-the-Art Prestaties: Experimenten op vier datasets van FaithCoT-Bench tonen aan dat CIE-SCORER bestaande baselines overtreft, waaronder op contrafacten gebaseerde methoden, op logit gebaseerde methoden, LLM-as-Judge-benaderingen en eerdere op circuits gebaseerde methoden (CRV).

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op vier datasets die logisch, feitelijk, wiskundig en biomedisch redeneren bestrijken: LogicQA, TruthfulQA, AQuA en HLE-Bio.

• Prestaties: CIE-SCORER behaalde de hoogste nauwkeurigheid (Accuracy) en F1-scores over alle datasets. Bijvoorbeeld, op de LogicQA-dataset verbeterde het de nauwkeurigheid met 11,5 punten en de F1-score met 1,4 punten ten opzichte van de sterkste vorige baseline.
• Efficiëntie: In vergelijking met de CRV-baseline verlaagde CIE-SCORER het piekgebruik van het geheugen met 48,3%–55,2% en het aantal getraceerde tokens met 62,4%–68,6%. Het boekte ook aanzienlijke reducties in runtime (bijvoorbeeld 67,6% op TruthfulQA) terwijl het de F1-scores verbeterde.
• Ablatiestudies: Het verwijderen van de token-selectiestrategie (alleen entropie of alleen contrafactuele scores gebruiken) of het verwijderen van de interne GNN-encoder resulteerde in aanzienlijke dalingen in prestaties, wat de noodzaak bevestigt van zowel signaalintegratie als modellering van grafische structuren.
• Cross-Domein Transfer: Het model toonde betekenisvolle transfercapaciteiten, met name tussen TruthfulQA en LogicQA, wat suggereert dat de geleerde interne grafische representaties generaliseerbare signalen van trouw vastleggen.

5. Betekenis en Claims

Het artikel stelt dat CIE-SCORER effectief de "illusie van transparantie" van CoT-redeneren aanpakt door mechanistische interpreteerbaarheidssignalen expliciet te combineren met externe traces.

• Differentiatie van Ontrouwsoorten: De analyse toont aan dat verschillende soorten ontrouw verschillende mismatchpatronen vertonen. Post-hoc redeneren (het rationaliseren van een vooraf bepaald antwoord) veroorzaakt voornamelijk discrepanties op feature-niveau (inhoudelijke mismatch), terwijl schijnbare redeneerketens (lokaal coherent maar causaal verbroken stappen) voornamelijk discrepanties op structuurniveau veroorzaken (afhankelijkheidsmismatch).
• Schaalbaarheid: Door circuit-tracing te richten op informatieve tokens in plaats van op alle tokens, maakt de methode mechanistische interpreteerbaarheid haalbaar voor lange redeneertraces, waardoor een belangrijke bottleneck in eerdere aanpakken wordt overwonnen.
• Betrouwbaarheid: Het raamwerk biedt een robuuster signaal voor het auditen van modelgedrag dan oppervlakkige metrieken, omdat het direct de "verhaal" dat het model vertelt (externe trace) vergelijkt met de "berekening" die het uitvoert (intern circuit).

De auteurs merken op dat de methode toegang vereist tot modelinterne details (witte-doos), wat de directe toepassing beperkt tot open-source of toegankelijke modellen, en dat evaluatie op diverse domeinen en multimodale instellingen voor toekomstig werk wordt gelaten.