Technische Samenvatting: Oordeel niet naar de buitenkant: Testen van de robuustheid van LLM's onder logische obscuratie

Probleemstelling

Ondanks de indrukwekkende capaciteiten van Large Language Models (LLM's) in standaard redeneertaken — zoals het oplossen van rekenkundige vergelijkingen, het evalueren van waarheidstabelen en het voltooien van syllogismen — vertonen deze modellen een significante kwetsbaarheid wanneer ze worden geconfronteerd met logisch equivalente problemen die in geobscureerde formaten worden gepresenteerd. Terwijl huidige benchmarks (bijv. MMLU, BIG-Bench Hard) vaak alleen het uiteindelijke antwoord scoren, waardoor modellen kunnen slagen via oppervlakkige patroonherkenning of memorisatie, falen zij om echt logisch redeneren te onderscheiden van het oproepen van patronen uit trainingsdata.

Het kernprobleem dat wordt aangestipt, is het onvermogen van state-of-the-art LLM's om de consistentie in redeneren te behouden wanneer de oppervlakkige vorm van een probleem wordt gewijzigd, terwijl de onderliggende logische structuur invariant blijft. Zoals critici en onderzoekers (bijv. Smolinski, 2024; Vafa et al., 2024) hebben opgemerkt, kunnen modellen indrukwekkende outputs produceren zonder het onderliggende wereldmodel te herstellen, waarbij ze vastlopen bij eenvoudige omwegen of herformuleringen. Dit onderzoek onderzoekt of LLM's werkelijk redeneren of slechts geëxploiteerde patronen uit het geheugen oproepen door systematisch hun robuustheid tegen logische obscuratie te testen.

Methodologie

Het Logifus Framework

Om deze kwetsbaarheid te bestudelen, introduceren de auteurs Logifus, een structuurbehoudend framework voor logische obscuratie. Logifus functioneert als een mapping $f: Q \to Q'$, waarbij $Q$ een verzameling originele vragen is en $Q'$ een verzameling logisch equivalente maar syntactisch diverse (geobscureerde) tegenhangers. Het kernprincipe is dat terwijl de oppervlakkige linguïstische of structurele representatie wordt gewijzigd, de correcte oplossing invariant blijft. Dit dwingt modellen om zich te verdiepen in dieper redeneren in plaats van te vertrouwen op oppervlakkige herinnering.

Het framework genereert geobscureerde varianten via specifieke transformatiestrategieën die zijn afgestemd op verschillende domeinen van redeneren:

1. Logische Equivalenties: Het toepassen van regels zoals de wetten van De Morgan of dubbele negatie-eliminatie op de premissen van de Eerste-Orde Logica (FOL).
2. Relationele Ketens: Het herschrijven van directe verwantschapstellingen naar indirecte, multi-hop beschrijvingen (bijv. het transformeren van "A is de broer van B" naar "A is de echtgenoot van de schoonzus van B").
3. Symbolische Substituties: Het vervangen van numerieke waarden in sequenties door deterministische maar obscure tokens, zoals planetennamen, ASCII-sommen van die namen, of MD5-hashes.
4. Ruimtelijke Omwegen: Het invoegen van zelf-cancellerende vectorparen (bijv. naar het Noorden lopen en dan weer naar het Zuiden) in navigatiepaden om de complexiteit te verhogen zonder de netto verplaatsing te veranderen.

De LogiQAte Benchmark

Met gebruik van Logifus presenteren de auteurs LogiQAte, een diagnostische benchmark bestaande uit 1.108 vragen over vier verschillende redeneertaken:

1. Obfus FOL: 272 vragen die de eerste-orde logische implicatie evalueren onder equivalentie-behoudende herschrijvingen.
2. Obfus Blood Relation: 300 vragen die het redeneren over stambomen testen onder indirecte relationele ketens (Complexiteitsniveau 1 en 2).
3. Obfus Number Series: 284 vragen die inductieve patroondetectie vereisen onder symbolische substituties (Planet Name, ASCII Sum, en MD5 Hash types).
4. Obfus Direction Sense: 252 vragen die navigatie-redeneren beoordelen onder gewijzigde richtingen en referentiekaders.

Validatie: Om de integriteit te waarborgen, onderging elke basisvraag en de geobscureerde versie een rigoureus validatieproces met twee menselijke annotatoren en, voor de FOL-taken, de automatische theorem prover Prover9. Dit zorgde voor een bijna perfecte overeenstemming (Cohen's $\kappa > 0.88$) op het gebied van logische equivalentie en conclusiebehoud.

Evaluatieopzet

De benchmark werd geëvalueerd op negen state-of-the-art modellen (zowel open- als closed-source), inclusief algemene modellen (GPT-4o, Claude 3.7 Sonnet) en redeneer-gerichte modellen (GPT-5, o4-mini, Qwen QwQ-32B, Gemini 2.5 Pro). Evaluaties werden uitgevoerd onder zero-shot, few-shot en Chain-of-Thought (CoT) prompting settings met een temperatuur van 0.0. Prestaties werden gemeten met behulp van Exact Match (EM) nauwkeurigheid.

Belangrijkste Resultaten

Prestatiedegradatie

Over alle taken en modellen heen degradeert logische obscuratie de zero-shot prestaties ernstig.

• Gemiddelde Daling: De gemiddelde prestatiedaling over alle taken en instellingen was 28,8%.
• Modelspecifieke details:
  • GPT-4o: Daalde gemiddeld met 47%.
  • GPT-5: Daalde gemiddeld met 27%.
  • o4-mini: Daalde met 22%.
  • Redeneermodellen: Zelfs modellen die specifiek zijn geoptimaliseerd voor redeneren (bijv. GPT-5) vertoonden significante dalingen, zoals een afname van 98% naar 56% op Obfus FOL (zero-shot).
  • Algemene Modellen: Ervaren drastisch grotere dalingen, waarbij sommige taken dalingen van wel 87% lieten zien (bijv. GPT-4o op Obfus Number Series).

Taakspecifieke Kwetsbaarheden

• Obfus Blood Relation: Toonde een gestage daling naarmate de complexiteit toenam van Niveau 1 naar Niveau 2. Bijvoorbeeld, Claude 3.7 (CoT) daalde van 59% op basisvragen naar 24% op Niveau 2 obscuratie.
• Obfus Number Series: Bleek bijzonder straffend voor algemene modellen, die moeite hadden met het identificeren van patronen wanneer getallen werden vervangen door planetennamen of MD5-hashes.
• Obfus Direction Sense: Legde zwakheden bloot in state-tracking, waarbij modellen faalden in het filteren van zelf-cancellerende omwegen.

Prompting Strategieën

Geavanceerde prompting strategieën zoals Few-shot en Chain-of-Thought (CoT) boden slechts gedeeltelijke verlichting, geen robuustheid. Hoewel CoT de degradatie van GPT-5 verminderde van 27% naar 18,7%, bleef het effect inconsistent over verschillende modellen. Opvallend genoeg vertoonden kleinere modellen (bijv. GPT-4o-mini, Llama-4-Maverick) nog grotere broosheid, waarbij de nauwkeurigheid onder obscuratie significant instortte.

Mechanistische Analyse

Om de faalmodi te begrijpen, voerden de auteurs een intrinsieke analyse uit op LLaMA 3.1 8B:

1. Memorizatiegevoeligheid: Met behulp van Min-K%++ membership inference vond de studie dat geobscureerde vragen leidden tot een hogere afhankelijkheid van gememoriseerde patronen. De voorspellings-AUROC-scores namen met 12–15% toe voor Obfus FOL en met 20–25% voor Obfus Blood Relation, wat aangeeft dat modellen zwaarder leunen op patronen uit de trainingsdata wanneer de oppervlakkige vormen worden geobscureerd.
2. Laag-specifieke Betrouwbaarheid: Analyse van de next-token log-waarschijnlijkheden onthulde een instorting van de betrouwbaarheid met 50–80% in de late lagen (28–31) van de transformer bij het verwerken van geobscureerde vragen vergeleken met basisvragen. Dit suggereert dat obscuratie de diepe-laag semantische consolidatie verstoort die nodig is voor echt redeneren.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Logifus: Een nieuw, structuurbehoudend algoritme voor het genereren van logisch geobscureerde vragen die de logische equivalentie behouden terwijl de oppervlakkige syntaxis verandert.
2. LogiQAte: De eerste benchmark van zijn soort, bestaande uit 1.108 vragen over vier redeneertaken, ontworpen om de robuustheid van LLM's tegen logische obscuratie rigoureus te evalueren.
3. Empirisch Bewijs: Een uitgebreide analyse die aantoont dat huidige LLM's, inclusief state-of-the-art redeneermodellen, vragen parsen zonder diep begrip. De bevindingen benadrukken een kritieke kloof tussen patroonherkenning en robuust redeneren, waarbij wordt aangetoond dat modellen falen wanneer de "buitenkant" van het probleem verandert, zelfs als de "inhoud" (logica) hetzelfde blijft.

De auteurs concluderen dat de geobserveerde degradatie de urgentie onderstreept om modellen te bouren die werkelijk begrijpen en betekenis behouden voorbij de oppervlakkige vorm, in plaats van simpelweg patronen te memoriseren en te matchen die geleerd zijn uit trainingsdata.

Beperkingen

De auteurs merken op dat LogiQAte momenteel beperkt is tot het Engels. Toekomstig werk heeft als doel de dataset uit te breiden naar meertalige data (met name voor talen met weinig middelen) en het framework uit te breiden naar aanvullende categorieën van redeneren, zoals zitplaatsen en commonsense inferentie.