From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options

Technische Samenvatting: Gestructureerde Compositionele Redenering over Samengestelde Antwoordopties

Probleemstelling
Large Language Models (LLM's) falen vaak wanneer ze de taak krijgen om antwoordopties te selecteren die het combineren van atomische oordelen vereisen onder expliciete logische operatoren (AND, OR, NEITHER/NOR). Hoewel modellen vaak correct individuele atomische proposities evalueren, hebben ze moeite met het componeren van deze oordelen tot een coherente uiteindelijke beslissing. Deze "compositionaliteitskloof" suggereert dat de fout niet voortkomt uit een gebrek aan kennis, maar uit de moeilijkheid om logische mogelijkheden te representeren en te combineren. Standaard prompting-methoden voegen de evaluatie van de atomen en de logische compositie samen in één enkele generatiestap, waardoor er geen mechanisme overblijft om fouten te diagnosticeren of logische beperkingen af te dwingen. Bovereind degraderen modellen ook aanzienlijk bij disjunctieve composities en genegteerde structuren (bijv. NEITHER/NOR), een patroon dat consistent is met mentale-modeltheorieën van menselijk redeneren, waarbij de moeilijkheid schaalt met het aantal mogelijkheden dat een redeneerder moet bijhouden.

Methodologie
De auteurs stellen een framework voor dat de elicitatie van atomisch bewijs ontkoppelt van de logische compositie, waardoor het model nooit een samengestelde optie als geheel verwerkt. Het framework werkt in drie stadia:

1. Optie-decompositie: Elke samengestelde antwoordoptie wordt deterministisch geparsed in de constituerende atomische antwoorden en de expliciete booleaanse operator die hen verbindt. Atomische antwoorden die gedeeld worden over meerdere opties worden behandeld als een enkele unieke entiteit ($U_C$), wat zorgt voor een consistente scoring van een propositie, ongeacht waar deze voorkomt.
2. Contrastieve Bewijselicitatie: Voor elk uniek atomisch antwoord construeert het systeem een paar tegenovergestelde natuurlijke taalhypothesen geconditioneerd op de context: één die stelt dat de atoom wordt ondersteund ($h^+$) en één die stelt dat deze niet wordt ondersteund ($h^-$). De LLM wordt geprompt om de meest plausibele hypothese te kiezen. De ruwe bewijsscore wordt afgeleid van de log-waarschijnlijkheden van de keuze-tokens, genormaliseerd om een relatieve voorkeursscore tussen de twee hypothesen te produceren.
3. Score-calibratie: Ruwe scores worden gekalibreerd om de betrouwbaarheid te verbeteren. De auteurs introduceren Relatieve Calibratie, een methode die ruwe scores naar gekalibreerde waarschijnlijkheden mapt met behulp van een logistische regressie. In tegenstelling tot standaard post-hoc methoden (Platt scaling, Isotonic calibration) die alleen vertrouwen op absolute scorewaarden, incorporeert Relatieve Calibratie kenmerken die de positie van de atoom binnen de specifieke instantie vertegenwoordigen (bijv. de rangorde onder andere atomen en de afstand tot de maximale score). Dit stelt het systeem in staat om rekening te houden met het feit dat de geldigheid van een optie afhangt van hoe atomen met elkaar worden vergeleken.
4. Globaal Beperkte Inferentie: De gekalibreerde scores worden ingevoerd in een Operator-beperkt Integer Lineair Programma (ILP). Het ILP definieert binaire beslissingsvariabelen voor de status van elk atomisch antwoord en de geldigheid van elke samengestelde optie. Het handhaaft strikte beperkingen die de semantiek van de logische operatoren coderen (bijv. voor AND is de optie alleen geldig als beide atomen waar zijn; voor NEITHER/NOR is de optie alleen geldig als beide onwaar zijn). De doelfunctie maximaliseert het totale bewijs (ondersteuning minus tegenwerking) voor de atomische toewijzingen onder deze beperkingen, waardoor exact één samengestelde optie wordt geselecteerd als de uiteindelijke voorspelling.

Belangrijkste Bijdragen

1. Gestructureerd Framework: Een nieuwe aanpak die contrastief bewijs eliceert voor individuele atomische antwoorden en deze combineert via operator-beperkte ILP-inferentie, waardoor de logische compositie effectief wordt geïsoleerd van de begripsvorming.
2. Relatieve Calibratie: Een calibratietechniek die atomische antwoorden scoort op basis van zowel hun vertrouwen als hun relatieve positie ten opzichte van andere atomen in dezelfde instantie, waarmee de beperkingen van onafhankelijke calibratie in multi-optie taken worden aangepakt.
3. LOGICAL-SATA Benchmark: Een nieuwe leesbegrip-benchmark afgeleid van SATA-Bench, specifiek ontworpen om het redeneren over samengestelde antwoorden met expliciete logische operatoren te evalueren.
4. Empirische Evaluatie: Een uitgebreide evaluatie over twee verschillende benchmarks (LOGICAL-COMMONSENSEQA en LOGICAL-SATA), die aantoont dat het framework direct prompting significant overtreft, met name op operatoren die doorgaans tot modelfalen leiden.

Resultaten
Het framework werd geëvalueerd met Llama-3.1-8B-Instruct.

• Algehele Prestaties: Op de door mensen gevalideerde split van LOGICAL-COMMONSENSEQA verbeterde het framework de Macro-F1 van 48,3 (beste direct prompting) naar 77,0. Op LOGICAL-SATA verbeterde het van 47,0 naar 75,6.
• Operator-specifieke Winsten: De meest significante verbeteringen werden waargenomen bij NEITHER/NOR, waar de Macro-F1 steeg van 14,0 naar 76,8 op LOGICAL-COMMONSENSEQA en van 12,6 naar 73,4 op LOGICAL-SATA. De verbeteringen waren ook aanzienlijk voor OR en MIXED settings, terwijl de winsten op AND bescheidener waren.
• Impact van Calibratie: Relatieve calibratie leverde de beste prestaties op, vooral in MIXED settings waar opties verschillende operatoren gebruiken. Het verminderde de atomische Brier-scores en log-loss effectiever dan Platt of Isotonic scaling, wat wijst op een betere afhandeling van overmoed en relatieve ordening.
• Foutanalyse: Wanneer voorzien van gouden atomische status, bereikte de ILP-inferentielaag een nauwkeurigheid van 100%, wat bevestigt dat de logische beperkingen perfect zijn gecodeerd. De resterende fouten werden toegeschreven aan falen in de initiële atomische bewijselicitatie (bijv. het verkeerd interpreteren van modificatoren of passage-onderwerpen).

Significantie en Claims
Het artikel claimt dat de waargenomen fouten in logische redeneertaken vaak te wijten zijn aan moeilijkheden bij het componeren van lokale oordelen in plaats van een gebrek aan relevante kennis. Door de evaluatie van atomische feiten expliciet te scheiden van de logische combinatie van die feiten, overbrugt het framework de compositionaliteitskloof. De resultaten suggereren dat LLM's nuttig bewijs behouden over individuele atomische antwoorden, zelfs wanneer ze falen in het correct combineren ervan in één enkele pass. De introductie van relatieve calibratie benadrukt dat de geldigheid van een atomisch oordeel in een multiple-choice setting vaak contextafhankelijk is op de andere beschikbare opties. De auteurs concluderen dat gestructureerde inferentie onder expliciete beperkingen een levensvatbaar pad is om het logische redeneren in LLM's te verbeteren, met name voor complexe genegteerde en disjunctieve structuren.