Technische Samenvatting: Reproductie en Stress-testen van Twee Benaderingen voor de Betrouwbaarheid van LLM-redeneren

Probleemstelling

Recente grote taalmodellen (LLM's) vertonen tekortkomingen in de betrouwbaarheid van redeneren, specifiek door het niet kunnen kalibreren van vertrouwen met nauwkeurigheid en het verwarren van oppervlakkige plausibiliteit met logische geldigheid. Twee recente methoden die zijn voorgesteld om deze problemen aan te pakken zijn RPC (Zhou et al., 2025), dat token-waarschijnlijkheden en zelfconsistentie aggregeert tijdens inferentie, en LCF (Wu et al., 2025), dat projectoren traint om "inhoud"- en "logica"-subruimten in de residual stream te ontkoppelen, waarbij de logica-vector naar een geldige regio wordt geëdit.

Het kernprobleem dat door dit onderzoek wordt aangepakt, is het gebrek aan onafhankelijke verificatie voor deze claims. De evaluaties van RPC werden uitsluitend uitgevoerd door de oorspronkelijke auteurs op een vaste set modellen, terwijl LCF geen publieke code heeft vrijgegeven, wat de centrale premisse — een controleerbare logica-richting — onverifieerbaar maakt. Bovendien is geen van beide methoden getest onder diverse domeinen of modelarchitecturen om te bepalen of hun gerapporteerde winst in betrouwbaarheid robuust is of een artefact van specifieke experimentele opstellingen.

Methodologie

De studie hanteert een rigoureus reproductiekader, waarbij elke gerapporteerde winst in betrouwbaarheid van een methode wordt behandeld als een hypothese die opnieuw moet worden getest via onafhankelijke implementatie over meerdere modellen en domeinen.

1. RPC (Test-Time Probability Aggregation)

• Reproductie: De auteurs hebben de gepubliceerde aggregatielogica van RPC opnieuw gedraaid op de door de oorspronkelijke auteurs vrijgegeven redeneerpaden voor vier wiskundige benchmarks (MATH, Math-Odyssey, Olympiad-Bench, AIME).
• Extensie: De methode is uitgebreid naar vier nieuwe domeinen: tekst-naar-SQL (BIRD), extractie van juridische citaties (KO-VER), beoordeling van precedenten (KCC) en identificatie van drogredenen (LFUD).
• Stress-testen: Een studie naar het sample-budget werd uitgevoerd op BIRD, waarbij het aantal gesamplede ketens ($K$) varieerde van 8 tot 32 om te isoleren wanneer RPC beter presteert dan standaard zelfconsistentie (SC).
• Baselines: RPC werd vergeleken met Self-Consistency (meerderheidsstemming) en Perplexity (PPL) selectie.

2. LCF (Logic-Representation Editing)

• Re-implementatie: Omdat de code van LCF niet beschikbaar was, hebben de auteurs de volledige pijplijn vanaf nul opnieuw geïmplementeerd: het trainen van projectoren om verborgen toestanden te splitsen in inhouds- en logica-vectoren, een cross-attention decoder voor reconstructie, en een InfoNCE contrastieve objectief.
• Interventie: Tijdens inferentie wordt de logica-vector verschoven naar een "geldige" regio met behulp van een schaalparameter $\eta$ en terug gedecodeerd in de residual stream.
• Substituties: Vanwege de niet-vrijgegeven validiteitsdiscriminator uit het originele artikel, hebben de auteurs een controleerbare GPT-4 judge en een DistilBERT classifier gebruikt, waarbij zij hebben aangegeven waar deze substituties de metrieken beïnvloeden.
• Model-Agnostische Poging: De studie probeerde de getrainde LCF-projector te vervangen door een training-vrije Contrastive Activation Addition (CAA) benadering met een conditionele gate (K-CAST), getest op de identificatie van drogredenen en een gecontroleerde syllogisme-taak.
• Probing: Een lineaire probe werd gebruikt om de scheidbaarheid van geldige versus ongeldige conclusies in de verborgen toestanden te meten, waarbij het logica-signaal werd vergeleken met een semantische controle (detectie van suïciderisico).

Belangrijkste Resultaten

RPC: Exacte Reproductie, Beperkte Generalisatie

• Originele Grid: Op de door de auteurs vrijgegeven wiskundige paden reproduceerde RPC de originele resultaten exact (Nauwkeurigheid: 26,15% vs. gerapporteerd 26,11%; ECE: 12,32% vs. 12,37%), wat bevestigt dat de implementatie van de methode solide is.
• Nieuwe Domeinen: Over vier nieuwe domeinen (BIRD, KO-VER, KCC, LFUD) met een klein sample-budget ($K=8$), toonde RPC geen statistisch significant voordeel over Self-Consistency (gepaarde $p \ge 0,28$). Het kwam in de meeste gevallen gelijk aan SC.
• Budget Schaling: Op BIRD groeide het voordeel van RPC ten opzichte van SC met het sample-budget, waarbij een winst van +2,5% nauwkeurigheid werd bereikt bij $K=32$. Dit gat was echter niet statistisch significant ($p=0,16$) en steunde slechts op 2 van de 80 items. Wanneer de steekproefomvang werd uitgebreid naar $n=200$, keerde het voordeel om naar $-0,25\%$ ($p=0,85$), wat suggereert dat de oorspronkelijke winst een fluctuatie door een kleine steekproef was.
• Conclusie: RPC is een veilige interventie die de prestaties nooit significant heeft verslechterd, maar het biedt geen significante betrouwbaarheidsverbetering ten opzichte van standaard zelfconsistentie in de geteste domeinen.

LCF: Zwak Signaal, Slechte Controleerbaarheid en Modelafhankelijkheid

• Logische Geldigheidsrichting: Een lineaire probe bevestigde dat er een richting voor logische geldigheid bestaat, maar deze is zwak. Het bereikte een scheidbaarheid van 0,82 op de beste enkele sub-laag (vergeleken met 0,95 voor een semantische attribuutcontrole), maar stortte in naar toeval (0,52) wanneer de resultaten werden samengevoegd over de lagen die door LCF werden bewerkt.
• Interventie Falen: De additieve interventie (het verschuiven van de logica-vector) slaagde er niet in consistente winsten te boeken.
  • Qwen3-8B: Toonde een niet-significante toename in $\Delta$Prob (waarschijnlijkheidsmarge op de geldige optie) van 6,11 naar 7,83 ($p=0,56$).
  • Llama-2 & Mistral: Verslechterden de prestaties significant, met een afname van $\Delta$Prob van respectievelijk 8,1 en 11,0 punten ($p < 0,001$ en $p=0,002$).
  • Vicuna: Toonde een grenswaardige, niet-significante daling.
• Generalisatie: Het positieve effect op Qwen3 vertaalde zich niet naar publieke logica-benchmarks (FOLIO), waar het de prestaties verslechterde.
• Model-Agnostische Pogingen: Training-vrije contrastieve sturing (K-CAST) faalde op de taak voor drogredenen en verslechterde beide modellen. Het slaagde alleen op een gecontroleerde syllogisme-taak onder strikte condities (overeenkomende distributie, het weg laten van inhoud in plaats van het toevoegen van geldigheid, en enkel op een model dat al in staat was tot de taak).
• Betrouwbaarheid van Metrieken: De claim van de oorspronkelijke paper over 96,56% validiteitscontrole leunde op een niet-vrijgegeven discriminator. De auditeerbare substitutie van de auteurs toonde geen winst, en de originele metriek kon niet worden gereproduceerd.

Betekenis en Claims

Het artikel concludeert dat er een fundamentele asymmetrie bestaat tussen de twee benaderingen:

1. RPC (Test-Time Aggregation): Deze methode reproduceert exact en is robuust; het heeft de nauwkeurigheid in geen enkel getest domein significant verslechterd. Hoewel het voordeel ten opzichte van zelfconsistentie in nieuwe domeinen de statistische significantie niet haalde, vormt het een veiligere, kosteloze interventie die strookt met theoretische voorwaarden (voldoende budget, diversiteit in antwoorden).
2. LCF (Representation Editing): Deze methode reproduceert niet als een betrouwbare, model-agnostische interventie. Het logica-geldigheids signaal is echt maar zwak en lokaal gecodeerd, waardoor het moeilijk te controleren is via additieve interventies. De gerapporteerde winsten zijn modelafhankelijk (alleen waargenomen bij Qwen3, en zelfs daar niet statistisch significant) en vaak schadelijk voor andere modellen. De belangrijkste betrouwbaarheidsclaims rusten op oncontroleerbare componenten.

Eindconclusie: Gebaseerd op het bewijs van 7–8B modellen en kleine evaluatiesets, is test-time aggregatie (RPC) de meer betrouwbare mechanisme voor het verbeteren van de betrouwbaarheid van redeneren, terwijl logische representatie-bewerking (LCF) faalt in generalisatie en aanzienlijke risico's op degradatie introduceert. De studie benadrukt dat gerapporteerde betrouwbaarheidswinsten die alleen door de auteurs van de methode zelf worden gepresenteerd, als hypothesen moeten worden beschouwd totdat ze onafhankelijk zijn geverifieerd over modellen en domeinen.