Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions

Titel: Verbetering van Redenering via Ketting van Gedachten (Chain-of-Thought) met Quasi-Symbolische Abstrakties

Auteurs: Leonardo Ranaldi, Marco Valentino, André Freitas
Instituut: Idiap Research Institute, Universiteit van Edinburgh, Universiteit van Sheffield, Universiteit van Manchester, CRUK Manchester Institute.

---

1. Het Probleem

Chain-of-Thought (CoT) redenering is een veelgebruikte strategie om Large Language Models (LLMs) complexere taken te laten uitvoeren door deze op te splitsen in tussenstappen. Ondanks succes vertoont CoT echter ernstige beperkingen:

• Content-bias: De gegenereerde verklaringen zijn vatbaar voor inhoudelijke vooroordelen die de robuustheid en betrouwbaarheid (faithfulness) negatief beïnvloeden.
• Beperkingen van volledig symbolische methoden: Bestaande oplossingen die logische formalismen en externe symbolische oplosprogramma's combineren, vereisen een volledige vertaling van natuurlijke taal naar formele talen. Dit creëert een bottleneck die de efficiëntie en flexibiliteit vermindert.

Het doel is een evenwicht te vinden tussen flexibiliteit (natuurlijke taal) en robuustheid (symbolische logica) zonder een volledige formalisatie te vereisen.

2. Methodologie: QuaSAR

De auteurs presenteren QuaSAR (Quasi-Symbolic Abstract Reasoning), een variant op CoT die LLMs aanstuurt om op een hoger abstractieniveau te opereren via "quasi-symbolische" verklaringen. Het kader combineert symbolische elementen met natuurlijke taal.

Het proces bestaat uit vier gestructureerde stappen:

1. Abstraktie: Het probleem wordt geanalyseerd en geabstraheerd door relevante symbolische predicaten, variabelen en constanten te identificeren (bijv. numerieke waarden of verbaal types).
2. Formalisatie: Het originele probleem in natuurlijke taal wordt herschreven in een semi-gestructureerde vorm die een mix is van symbolische expressies en natuurlijke taal. Dit minimaliseert ambiguïteit zonder belangrijke context te verliezen.
3. Verklaring (Explanation): De oplossing wordt berekend via een keten van quasi-symbolische redeneringsstappen. Hierdoor worden logische connecties expliciet gemaakt, wat de kans op fouten door impliciete kennis verkleint.
4. Antwoorden: Een definitief antwoord wordt gegenereerd in een strikt formaat (bijv. "Het antwoord is: [getal]").

Toepassingsvormen:

• In-Context Learning (ICL): QuaSAR wordt direct gebruikt als prompt-strategie voor grote, krachtige modellen (zoals GPT-4o).
• Synthetische Demonstraties: QuaSAR wordt gebruikt om hoogwaardige trainingsdata (demonstraties) te genereren met een groot model, die vervolgens worden gebruikt om kleinere modellen (zoals Llama-3-8B of Qwen2-7B) te fine-tunen (Supervised Fine-Tuning).

3. Belangrijkste Bijdragen

• Nieuwe Architectuur: QuaSAR is de eerste methode die quasi-symbolische demonstraties toepast op een breed spectrum van redeneertaken, waardoor symbolische abstrakties en natuurlijke taal effectief kunnen co-existeren.
• Efficiëntie: In tegenstelling tot methoden die externe solvers vereisen, werkt QuaSAR via één prompting-stap, wat kosten verlaagt en de flexibiliteit vergroot.
• Robuustheid: Het kader is ontworpen om weerstand te bieden tegen adversariale variaties (zoals gewijzigde antwoordopties of oppervlakkige lexicaal veranderingen).

4. Resultaten

De auteurs hebben QuaSAR geëvalueerd op diverse benchmarks, waaronder wiskundige problemen (GSM8K, AQuA, SVAMP), logisch redeneren (MMLU-Redux, GPQA) en leesbegrip (DROP).

• Prestatieverbetering: QuaSAR presteert significant beter dan standaard CoT en andere geavanceerde methoden zoals Faithful CoT en CoMAT.
  • Op GPT-4o leidde QuaSAR tot een gemiddelde nauwkeurigheidsstijging van 8% ten opzichte van standaard CoT.
  • Op kleinere modellen (via fine-tuning met QuaSAR-demonstraties) werden eveneens significante verbeteringen gezien, vaak presterend beter dan modellen die met CoT-demonstraties waren getraind.
• Robuustheid: Bij tests met verstoord data (bijv. GSM-Symbolic of gewijzigde volgorde van keuzemogelijkheden in MMLU-Redux) bleek QuaSAR veel consistenter te zijn. De prestatiedaling was minimaal vergeleken met CoT, wat aantoont dat de quasi-symbolische structuur helpt om de kern van het probleem te behouden ondanks oppervlakkige veranderingen.
• Efficiëntie van Training: Modellen getraind met QuaSAR-demonstraties presteerden beter dan modellen met meer parameters die met CoT-demonstraties waren getraind, zelfs met 50% minder trainingsdata (in het geval van Llama-3-8B).
• Zelfcorrectie: Analyse toont aan dat fouten in QuaSAR-outputs makkelijker te detecteren en te corrigeren zijn omdat de gestructureerde redenering de bron van de fout duidelijker blootlegt.

5. Betekenis en Conclusie

De studie concludeert dat complexe redeneertaken vaak de co-existentie van natuurlijke taal en symbolische abstrakties vereisen. QuaSAR biedt een schaalbare en effectieve oplossing die de beperkingen van traditionele CoT-methoden overbrugt.

• Faithfulness en Verifieerbaarheid: Door het gebruik van gestructureerde, quasi-symbolische stappen wordt de redenering transparanter en verifieerbaarder.
• Toekomstperspectief: De methode is niet beperkt tot Engels en kan worden uitgebreid naar meertalige toepassingen en Retrieval-Augmented Generation (RAG) scenario's om kennisconflicten op te lossen.

Kortom, QuaSAR bewijst dat het introduceren van een lichte, quasi-symbolische structuur in de redenering van LLMs leidt tot aanzienlijk betere nauwkeurigheid, consistentie en weerstand tegen fouten, zonder de complexiteit van volledige formele vertalingen.