Where Reasoning Breaks: Logic-Aware Path Selection by Controlling Logical Connectives in LLMs Reasoning Chains

Titel: Waar Redenering Faalt: Logische Bewuste Padselectie door het Beheersen van Logische Connectieven in Redeneerketens van LLM's

1. Het Probleem

Hoewel Large Language Models (LLM's) indrukwekkende redeneercapaciteiten vertonen, blijken ze kwetsbaar in multi-staps logische deductie. De kern van het probleem ligt in de structurele broosheid van de redeneerketens:

• Propagatie van fouten: Een enkele fout in een tussenstap kan door de hele keten propageren, wat leidt tot een volledig falend antwoord.
• Logische Connectieven als zwakke schakels: De auteurs identificeren logische connectieven (woorden als daarom, echter, maar, dus) als de primaire punten van kwetsbaarheid. Deze tokens fungeren als linguïstische draaipunten die de richting van het redeneren bepalen.
• Hoge Entropie: Empirische analyse toont aan dat deze connectieven fungeren als "forking points" (vertakkingspunten) met hoge entropie. Op deze momenten heeft het model moeite om de juiste logische richting te kiezen, en de onzekerheid is geconcentreerd rondom deze specifieke tokens.
• Disproportioneel Effect: Een kleine wijziging in alleen het connectief (bijv. maar vervangen door daarom) kan het eindresultaat volledig omdraaien, terwijl veranderingen in andere tokens minder impact hebben.

2. Methodologie

De auteurs stellen een meerdere-laags framework voor dat ingrijpt op deze kritieke logische knooppunten, in plaats van het hele redeneerproces te herschrijven. Het framework bestaat uit drie complementaire strategieën:

A. Gradient-based Logical Steering (Actieniveau)

• Doel: De interne representaties van het model sturen naar geldige logische subruimtes zonder de modelgewichten te wijzigen.
• Methode: Er wordt een stuurvector ($v_{steer}$) berekend door de gradienten van de log-probabiliteit van correcte connectieven te analyseren over een dataset.
• Invoering: Tijdens inferentie wordt deze vector, geschaald met een coëfficiënt $\alpha$, toegevoegd aan de verborgen staat ($h_t$) van het model op het moment dat een connectief wordt gegenereerd. Dit "duwt" het model in de richting van een geldige logische transitie.

B. Localized Branching (Inferentieniveau)

• Doel: Ambiguïteit oplossen door gerichte zoektocht alleen op de kritieke knooppunten.
• Trigger: Branching wordt alleen geactiveerd wanneer het top-1 token een logisch connectief is én er meerdere kandidaat-connectieven in de top-K voorspellingen zitten (hoge onzekerheid).
• Look-ahead Strategie: In plaats van direct te kiezen, genereert het model korte voortzettingen ($L$ tokens) voor elke kandidaat-connectief.
• Selectie: De beste tak wordt gekozen op basis van een gecombineerde score van:
  1. Traject-entropie: Lagere entropie duidt op een duidelijkere redeneerketen.
  2. Sequentie-vertrouwen: De genormaliseerde log-probabiliteit van de gegenereerde reeks.
• Dit vermijdt de hoge rekenkosten van globale zoekalgoritmen (zoals Beam Search) door alleen te "takken" waar het nodig is.

C. Targeted Transition Preference Optimization (TTPO) (Trainingsniveau)

• Doel: De onderliggende kansverdeling van het model chirurgisch verbeteren voor logische overgangen.
• Methode: Een gespecialiseerde variant van Direct Preference Optimization (DPO).
• Surgical Fine-tuning: In tegenstelling tot traditionele RLHF/DPO die op hele antwoorden trainen, optimaliseert TTPO alleen de kans op het enkele token op het logische draaipunt.
• Efficiëntie: De loss wordt alleen berekend op de logits van het gekozen connectief versus een verworpen alternatief. Gradiënten worden alleen teruggepropageerd vanaf dit specifieke tijdstip, wat rekenefficiëntie garandeert en het taalmodel niet schaadt op niet-kritieke tokens.

3. Belangrijkste Bijdragen

1. Empirische Diagnose: Het paper bewijst dat logische connectieven de primaire punten van broosheid zijn in LLM-redenering, gekenmerkt door hoge entropie en een disproportioneel causaal effect op het eindantwoord.
2. Logische Connectieve Interventie: Het introduceren van een framework dat specifiek ingrijpt op deze draaipunten via drie lagen (sturing, branching, en training).
3. Efficiëntie-Accuracy Trade-off: Het aantonen dat het focussen op deze "high-leverage" overgangen betere resultaten geeft dan globale methoden (zoals Beam Search of Self-Consistency) met een aanzienlijk lagere rekenkost.

4. Resultaten

De methoden zijn getest op vijf logische redeneringsbenchmarks (o.a. ZebraLogic, BIG-Bench Hard, LogiQA 2.0) en vier LLM's (Gemma 3 en Phi 4 series).

• Prestaties:
  • TTPO verbeterde consequent de prestaties van greedy decoding, zelfs op sterke basismodellen. Bijvoorbeeld, op Phi-4-mini-instruct steeg de score op ProntoQA van 93.6% naar 96.6%.
  • Localized Branching presteerde het beste op ZebraLogic (42.0% vs. 38.8% bij greedy), wat aantoont dat het oplossen van ambiguïteit op het juiste moment fouten herstelt.
  • Steering leverde stabiele verbeteringen op kleinere modellen door de interne representaties te stabiliseren.
• Complementariteit: De combinatie van TTPO met Steering of Branching leverde de beste resultaten op, wat aangeeft dat de methoden verschillende soorten fouten adresseren.
• Efficiëntie:
  • Globale methoden zoals Beam Search of Self-Consistency (n=5) kosten 3 tot 6 keer meer tokens en hebben een veel hogere latentie.
  • Het voorgestelde framework blijft dicht bij de kosten van greedy decoding (ongeveer 1.45x de kosten van greedy), terwijl het vergelijkbare of betere nauwkeurigheid bereikt.

5. Betekenis en Conclusie

Dit paper biedt een nieuw paradigma voor het verbeteren van redeneercapaciteiten in LLM's:

• Van Globaal naar Lokaal: In plaats van brute kracht toe te passen door overal te zoeken (global scaling), is het effectiever om te focussen op de linguïstisch onderbouwde kritieke punten (connectieven) waar redenering vaak faalt.
• Efficiëntie: Het biedt een weg naar robuuste logische redenering zonder de enorme rekenkosten van uitgebreide zoekstrategieën.
• Beperkingen: De methode is afhankelijk van expliciete linguïstische markers. Redenering die zonder duidelijke connectieven verloopt (impliciete stappen) valt buiten het bereik van dit framework.

Samenvattend bewijst de auteurs dat het "repareren" van de redeneerketen op de specifieke momenten waarop de logica wordt overgedragen (de connectieven), voldoende is om de algehele prestaties drastisch te verbeteren, terwijl de efficiëntie behouden blijft.