STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs

Titel: STaD: Scaffolded Task Design voor het Identificeren van Compositieve Vaardigheidskloven in LLM's

Auteurs: Sungeun An, Swanand Ravindra Kadhe, Shailja Thakur, Chad DeLuca, Hima Patel (IBM Research)

---

1. Het Probleem

Bestaande benchmarks worden vaak gebruikt om de capaciteiten van Large Language Models (LLM's) te evalueren. Echter, aggregatie-scores (zoals een gemiddelde nauwkeurigheid) bieden beperkt inzicht in de onderliggende zwaktes van een model.

• Monolithische evaluatie: Een lage score suggereert alleen dat een model "slecht is in wiskunde", maar verklaart niet waarom. Twee modellen met dezelfde totale score kunnen totaal verschillende vaardigheidskloven hebben.
• Compositieve fouten: Veel fouten ontstaan niet door het ontbreken van een enkele vaardigheid, maar door het falen bij het combineren van meerdere redeneerstappen (bijv. een model kan optellen en vermenigvuldigen, maar faalt wanneer deze stappen in een specifieke context gecombineerd moeten worden).
• Beperkingen van bestaande methoden:
  • Chain-of-Thought (CoT): Maakt redenering expliciet, maar is moeilijk schaalbaar en de gegenereerde uitleg weerspiegelt niet altijd de interne redenering.
  • Taakdecompositie: Breekt taken op, maar wordt voornamelijk gebruikt om prestaties te verbeteren, niet om systematisch faalmodi te diagnosticeren.

2. Methodologie: Het STaD Framework

De auteurs introduceren Scaffolded Task Design (STaD), een raamwerk dat concepten uit de cognitieve psychologie (scaffolding) toepast op de evaluatie van LLM's. In plaats van prestaties te verbeteren, wordt scaffolding hier gebruikt als een diagnostisch hulpmiddel om precies te identificeren waar en waarom een model faalt.

Kernprincipes:

• Scaffolding: Het bieden van gestructureerde, incrementele ondersteuning voor tussenstappen in een redeneertaak.
• Doel: Het blootleggen van "compositieve vaardigheidskloven" – situaties waarin een model een vaardigheid alleen kan uitvoeren, maar faalt wanneer deze gecombineerd moet worden met andere vaardigheden.

Het STaD-proces:

1. Taakdecompositie: Een "Teacher model" (bijv. GPT-OSS-120B) breekt een benchmarkvraag op in een reeks minimale redeneerstappen ($s_1, s_2, ..., s_K$) en berekent de tussenantwoorden.
2. Generatie van Scaffolding-varianten: Voor elke oorspronkelijke vraag worden gecontroleerde varianten gegenereerd waarbij de eerste $j$ stappen al zijn opgelost en als input worden gegeven. Hierdoor moet het model alleen de resterende stappen uitvoeren.
3. Validatie: Alleen varianten worden behouden waarbij het Teacher-model consistent het juiste eindantwoord kan genereren, ongeacht het niveau van scaffolding. Dit garandeert de betrouwbaarheid van de dataset.
4. Skill Mapping: Sub-taken worden gemapt naar hogere niveau vaardigheden (bijv. "Tijdsinterval-overlapping" of "Lineaire vergelijkingen oplossen") via clustering.
5. Evaluatie van het Doelmodel: Het te testen model ($f_{target}$) wordt getest op:
   • De oorspronkelijke taak.
   • De gescaffoldde varianten.
6. Bepaling van Minimum Scaffolding Level ($k$):
   • $k=0$: Het model lost de taak onafhankelijk op.
   • $k>0$: Het model heeft $k$ stappen ondersteuning nodig om het juiste antwoord te geven.
   • $k=-1$: Het model faalt zelfs met volledige ondersteuning (onoplosbaar).

3. Belangrijkste Bijdragen

1. Concept: Formalisering van "gescaffoldde competentie". Dit onderscheidt taken die oplosbaar worden met ondersteuning van die welke fundamenteel onoplosbaar blijven, waardoor compositieve fouten zichtbaar worden.
2. Framework: Het STaD-raamwerk dat automatisch gescaffoldde varianten genereert voor bestaande benchmarks. De auteurs hebben de code en datasets openbaar gemaakt.
3. Empirische Studie: Toepassing op drie benchmarks (ToT Arithmetic, GSM8K, Math-Hard) en zes modellen van verschillende maten, wat leidt tot gedetailleerde inzichten in unieke vaardigheidskloven.

4. Resultaten en Analyse

De experimenten werden uitgevoerd op drie benchmarks en zes modellen (o.a. Qwen, Llama, Granite).

Hoofdbevindingen:

• Prestaties onder Scaffolding: Wanneer tussenstappen worden gegeven, stijgt de prestatie aanzienlijk, vooral op moeilijke benchmarks (ToT, Math-Hard). Dit toont aan dat veel fouten het gevolg zijn van het niet kunnen coördineren van stappen, niet van het ontbreken van kennis.
• Unieke Vaardigheidskloven: Modellen met vergelijkbare totale scores hebben zeer verschillende "bottleneck"-profielen.
  • Voorbeeld: Qwen3B en Granite8B hebben vergelijkbare scores op ToT, maar Qwen3B faalt vaak bij het combineren van "Overlap" en "Discrete slots", terwijl Granite8B dit beter kan.
• Vaardigheden zijn aanwezig maar falen in context: Veel vaardigheden (zoals "rekenen met tijdsintervallen") scoren goed in isolatie, maar worden de meest frequente bottlenecks wanneer ze in een complexe, meervoudige redeneertaak moeten worden toegepast. Dit suggereert dat het probleem instabiele vaardigheidsintegratie is, niet het ontbreken van de vaardigheid zelf.
• Compositieve Interacties: Fouten ontstaan vaak door interacties tussen vaardigheden. Het scaffolden van alleen de eerste stap is vaak niet genoeg; vaak moet er ondersteuning worden geboden voor de combinatie van vaardigheden (bijv. zowel "Overlap" als "Discrete counting" tegelijkertijd) om succes te boeken.
• Onderscheid tussen Leerbaar en Onoplosbaar: STaD kan onderscheid maken tussen taken die leerbaar zijn met de juiste ondersteuning (waarbij $k$ laag is) en taken die fundamenteel onoplosbaar blijven voor het model, zelfs met volledige scaffolding.

Specifieke inzichten per benchmark:

• ToT Arithmetic: De grootste bottlenecks liggen bij het combineren van "Overlap/Discrete" en "Natural-language date parsing".
• GSM8K: Modellen presteren over het algemeen goed; bottlenecks zijn zeldzaam en vaak gerelateerd aan het extraheren van kwantitatieve data uit tekst.
• Math-Hard: "Het vertalen van woordproblemen naar algebra" is de dominante bottleneck.

5. Betekenis en Implicaties

De studie biedt een nieuwe lens om LLM-fouten te analyseren, verder dan alleen aggregatiescores:

• Gerichte Training: In plaats van generieke training, kunnen ontwikkelaars nu synthetische data genereren die specifiek gericht is op combinaties van vaardigheden die falen, in plaats van alleen op individuele vaardigheden.
• Betere Evaluatie: Evaluatieprotocollen moeten zowel de prestaties in isolatie als de "compositieve bottlenecks" rapporteren.
• Diagnose van Redenering: STaD toont aan dat het vermogen om kennis te componeren en in context toe te passen een fundamentele uitdaging blijft voor LLM's, zelfs als ze de individuele componenten beheersen.

Beperkingen:

• Afhankelijkheid van de kwaliteit van het "Teacher model" voor decompositie.
• Minder geschikt voor open-ended of single-step taken.
• Selectiebias in de gefilterde datasets (vooral bij Math-Hard), hoewel de auteurs aantonen dat de datasets representatief blijven voor de oorspronkelijke distributie.

Conclusie:
STaD is een krachtig diagnostisch instrument dat laat zien dat niet alle redeneringsfouten gelijk zijn. Het onthult dat de grootste uitdaging voor LLM's vaak niet het leren van nieuwe feiten is, maar het coördineren en integreren van bestaande vaardigheden in complexe, meervoudige redeneertaken.