Technische Samenvatting: Scaffolding the Strategist

Probleemstelling

Hoewel Large Language Models (LLM's) uitstekend presteren op wiskundige en logische benchmarks, blijft hun vermogen tot strategisch economisch redeneren — specifiek het vermogen om domeinkennis te integreren, de acties van concurrenten te anticiperen en dit begrip te vertalen naar concrete strategische beslissingen — slecht begrepen. Bestaande speltheoretische benchmarks (bijv. GTBench, EconArena) vertrouwen grotendeels op discrete actieruimtes en spellen met gelijktijdige zetten, waardoor continue strategie-ruimtes, meerfasige backward induction en contraintuïtieve evenwichten onverkend blijven.

Een kritieke, onbehandelde dimensie is de interactie tussen redeneerinterventies (scaffolding) en modelarchitectuur. Met de opkomst van reasoning-geoptimaliseerde modellen die beschikken over ingebouwde chain-of-thought capaciteiten, is het onduidelijk of externe scaffolding (zoals het stimuleren van stapsgewijs redeneren) een additieve waarde biedt, een afnemend rendement oplevert, of actief interfereert met interne deliberatie. Bovendien vereist de "declaratieve–procedurele kloof" — waarbij modellen correcte principes wel kunnen articuleren maar niet in staat zijn ze uit te voeren — onderzoek over verschillende architecturale klassen heen.

Methodologie

De auteurs maken gebruik van het Hotelling lineaire stadmodel (Hotelling, 1929) als diagnostisch voertuig. Dit framework werd gekozen omdat het stapsgewijs strategisch redeneren vereist, deductieve en abductieve redeneertypen binnen een uniforme structuur scheidt, bestand is tegen contaminatie door trainingsdata via niet-standaard parametrisaties, en op natuurlijke wijze de kloof tussen het kennen van een strategie en het uitvoeren ervan blootlegt.

Experimenteel Ontwerp

• Modellen: Twee architecturen van OpenAI werden geëvalueerd:
  • GPT-4.1-mini: Een standaard instructievolgend model.
  • GPT-5-mini: Een reasoning-geoptimaliseerd model met ingebouwde deliberatiecapaciteiten.
• Taken: Acht vragen, onderverdeeld in twee componenten:
  • Component A (Deductief): Vijf vragen die voorwaartse afleiding uit premissen vereisen (bijv. parametergevoeligheid, locatieveranderingen, identificatie van kostenstructuren).
  • Component B (Abductief): Drie vragen die inferentie van observaties naar de beste verklaringen vereisen (bijv. concurrentie-inferentie, detectie van strategische verschuivingen).
• Condities: Elke vraag werd getest onder vijf condities:
  1. Baseline: Geen scaffolding.
  2. Commitment: Het model moet analytische principes formuleren en zich eraan verbinden (premise-locking) voordat het de oplossing vindt.
  3. Contradictie Detectie: Het model moet interne tegenstrijdigheden in zijn redeneerketen identificeren en oplossen.
  4. Geprincipeerde Separatie: Een driefasige pipeline waarbij het model principes formuleert, voorspellingen genereert en vervolgens beslist (declareren-dan-uitvoeren).
  5. Adversarial Stress-Test: Het model wordt geprompt om tegen zijn eigen conclusies te argumenteren en deze te verdedigen of te herzien.
• Evaluatie: De studie genereerde 720 reacties (2 modellen × 5 condities × 3 prompt-framings × 3 repetities × 8 vragen). Reacties werden gescoord door GPT-5.2 op een schaal van 0–10 (conclusie-accuratesse + kwaliteit van het redeneren), gekalibreerd tegen menselijke beoordeling ($\kappa = 0.97$).

Belangrijkste Bijdragen

1. Crossover Interactie: De paper documenteert een statistisch significante crossover-interactie ($p = 0.002, d = 1.69$) tussen het type scaffolding en de modelarchitectuur. Interventies die een standaard model verbeteren, verslechteren een reasoning model, en vice versa.
2. Adversarial Stress-Test Paradox: De studie toont aan dat adversariële zelfexamen universeel de prestaties verslechtert, waarbij het reasoning model 2,6× meer schade oploopt dan het standaard model. Deze degradatie correleert negatief met de baseline moeilijkheidsgraad ($R^2 = 0.36$), wat aangeeft dat "te veel nadenken" over correcte antwoorden twijfel en fouten introduceert.
3. Kwantificering van de Declaratieve–Procedurele Kloof: De auteurs kwantificeren de kloof tussen het identificeren van een correcte strategie en het uitvoeren ervan. Ze stellen vast dat geprincipeerde separatie deze kloof volledig sluit voor het reasoning model (waarbij de declaratieve en procedurele ratio's convergeren naar 25,9%), terwijl geen enkele interventie het standaard model helpt om deze kloof te overbruggen.
4. Validatie van het Diagnostisch Framework: De paper valideert Hotelling ruimtelijke competitie als een "microworld" die resistent is tegen contaminatie en geschikt is voor het isoleren van interventie $\times$ architectuur interacties.

Resultaten

De Crossover Interactie

• Commitment Scaffolding: Verbeterde het standaard model (GPT-4.1-mini) met +0,21 punten, maar verslechterde het reasoning model (GPT-5-mini) met −0,63 punten.
  • Interpretatie: Het standaard model mist interne deliberatie, waardoor externe premise-locking noodzakelijke structuur biedt. Het reasoning model voert al interne deliberatie uit; het afdwingen van externe commitment creëert interferentie (parallel aan het "verbal overshadowing" effect).
• Principled Separation: Toonde het tegenovergestelde patroon. Het verslechterde het standaard model met −0,40 punten, maar verbeterde het reasoning model met +0,31 punten.
  • Interpretatie: Het reasoning model profiteert van fase-gating die zijn interne deliberatie organiseert. Het standaard model mist de redeneediepte om deze structuur te exploiteren, waardoor het procesoverhead ervaart zonder voordeel.
• Consistentie: Deze crossover-patronen hielden stand bij 7 van de 8 vragen.

Adversarial Stress-Testing

• Beide modellen leden onder prestatieverlies tijdens stress-testing.
• Het reasoning model leed aanzienlijk meer ($−1,47$ vs. $−0,57$; $p = 0,038$).
• De schade was invers gecorreleerd met de baseline moeilijkheidsgraad: de makkelijkste problemen (waar de modellen al correct waren) leden het meeste onder degradatie, wat suggereert dat zelfkritiek op correcte intuïtieve oordelen fouten introduceert.

Declaratieve–Procedurele Kloof

• Standaard Model: Identificeerde correcte strategieën ongeveer 30% van de tijd, maar voerde ze 0% van de tijd uit. Geen enkele interventie verbeterde de procedurele correctheid boven de 3,7%.
• Reasoning Model: Onder het separation protocol sloot de kloof volledig (zowel de declaratieve als de procedurele ratio bereikten 25,9%). Onder commitment werd de kloof groter (declaratief 33,3% vs. procedureel 11,1%).

Betekenis en Claims

De paper claimt dat reasoning-interventies geen uniforme effecten hebben; hun impact is kritiek en voorspelbaar afhankelijk van de modelarchitectuur.

• Ontwerpprincipe: De auteurs stellen een leidend principe voor scaffolding voor: "Bied wat de architectuur mist; dupliceer niet wat het al heeft."
  • Voor capaciteit-beperkte modellen (standaard), kan scaffolding niet fungeren als vervanging voor redeneercapaciteit.
  • Voor organisatorisch beperkte modellen (reasoning-optimized), is de keuze van de scaffolding even belangrijk als de modelkeuze zelf.
• Implicaties voor Evaluatie: De studie waarschuwt tegen de intuïtie dat zelfkritiek (adversarial stress-testing) universeel de robuustheid verbetert, door aan te tonen dat dit nadelig kan zijn, vooral voor geavanceerde modellen bij goed begrepen problemen.
• Beperkingen: De auteurs erkennen dat de studie gebruikmaakt van twee propriëtaire modellen van één enkele provider, wat de generaliseerbaarheid naar andere modelfamilies beperkt. Ze merken ook op dat de acht vragen een enkel economisch domein beslaan, en dat generalisatie naar andere strategische contexten nog openstaat.

De paper concludeert dat de "declaratieve–procedurele kloof" kwalitatief verschillende oorsprongen heeft in verschillende architecturen: een fundamentele capaciteitsbeperking in standaard modellen versus een organisatorisch probleem dat oplosbaar is met passende scaffolding in reasoning modellen.