Technische Samenvatting: Scaffold-effecten op GAIA

Probleemstelling

Gepubliceerde scores van de capaciteiten van agenten verwarren vaak de intrinsieke bekwaamheid van een model met de prestaties die mogelijk worden gemaakt door zijn "scaffold" (de agent-loop, tool-orkestratie en prompting-strategie). Hoewel de "elicitation gap"—het verschil tussen wat een model kan en wat de scaffold het in staat stelt te doen—erkend wordt in de literatuur (bijv. METR's tijdshorizon-framework), is de omvang ervan niet rigoureus gekarakteriseerd onder gecontroleerde omstandigheden over een frontlinie van modellen. Deze studie adresseert het gebrek aan gecontroleerde vergelijking om te bepalen hoeveel de keuze van de scaffold de gemeten nauwkeurigheid verschuift, of deze gevoeligheid schaalt met modelcapaciteit, en hoe dit interacteert met taakcomplexiteit.

Methodologie

De studie voert een vooraf geregistreerde gecontroleerde vergelijking uit met behulp van de GAIA-benchmark (validatieniveaus 1 en 2), die multi-modaliteit, webbrowsing, bestandslezen en multi-step redeneren vereist.

• Experimenteel Ontwerp: De studie gebruikt een $3 \times 5$ factorieel ontwerp waarbij drie scaffolds worden getest over vijf modellen.
  • Scaffolds:
    1. S1 (ReAct): De standaard single-agent alternating reason-act loop (baseline).
    2. S2 (Planner-Actor-Rater / PAR): Een multi-agent ontwerp waarbij een Planner taken deelt op, een Actor tools uitvoert, en een Rater de voortgang beoordeelt.
    3. S3 (Planner-then-Executor): Een twee-fasen benadering waarbij een model een geschreven plan genereert zonder tools, gevolgd door een aparte executiefase.
  • Modellen: Vijf modellen van drie providers:
    • Anthropic: Claude Opus 4.7, Sonnet 4.6, Haiku 4.5.
    • Google: Gemini 3.1 Pro Preview.
    • OpenAI: GPT-5.5.
  • Condities: Taken en condities werden vastgehouden. Elke cel werd uitgevoerd met drie pogingen per vraag.
• Implementatie: Evaluaties werden uitgevoerd met Inspect AI. Er is een lokale patch toegepast op de Google-provider om gelijktijdig gebruik van native search en function tools mogelijk te maken.
• Analyse: De studie maakt gebruik van per-cel bootstrap betrouwbaarheidsintervallen (95%), mixed-effects logistische regressie om scaffold-door-model interacties te testen, en cost-per-correct analyse. Drie dataslices werden geanalyseerd:
  1. Primary: Alle pogingsunits (fouten geteld als incorrect).
  2. Robust: Sluit units uit die gemarkeerd zijn door een provider-zijde serialisatiefout die Anthropic-modellen beïnvloedt.
  3. Intersection: Bevat alleen sample ID's waar elke (model, scaffold) cel ten minste één schone voltooiing heeft.

Belangrijkste Bijdragen

1. Geïsoleerde Scaffold-effecten: Een gecontroleerde vergelijking die de impact van scaffold-keuze op GAIA-nauwkeurigheid isoleert, waarbij model en taak constant worden gehouden.
2. Gekwantificeerde Elicitation Impact: Statistische claims over de omvang van de elicitation gap, waarbij verder wordt gegaan dan puntramingen door inclusie van betrouwbaarheidsintervallen en interactie-effecten.
3. Reproduceerbaarheid: Publieke release van code, configuratiebestanden, per-poging logs en de vooraf geregistreerde sample ID snapshot.

Resultaten

1. Omvang van de Scaffold-gaps (H1 Ondersteund)

De keuze van de scaffold alleen al verplaatst de gemeten nauwkeurigheid met wel 28 procentpunten binnen een enkel model (Opus, Level 2, robust slice). De vooraf geregistreerde hypothese dat scaffold-variatie een gat van ten minste 10 punten produceert voor ten minste één model, wordt ondersteund, met name voor Haiku over alle slices en voor Opus/Sonnet bij Level 2 onder de robust slice.

2. Scaffold-gevoeligheid en Modelcapaciteit (H2 In de tegenovergestelde richting verworpen)

De hypothese dat meer capabele modellen minder scaffold-gevoelig zouden zijn, is verworpen.

• Statistische Bevinding: Een mixed-effects model bevestigt dat scaffold-effecten significant variëren per model ($p < 0.0001$).
• Directionele Bevinding: In tegenstelling tot de voorspelling, profiteert het meest capabele Anthropic-model (Opus) het meest van gestructureerde scaffolds (S2/S3) bij het moeilijkere niveau (Level 2), met de grootste gap (0.28). De "tier-scaling" claim (dat gaps krimpen naarmate modellen verbeteren) houdt alleen stand voor Level 1 onder de robust slice, maar faalt bij Level 2.

3. Multi-Agent Voordeel (H3 Voorwaardelijk Ondersteund)

De hypothese dat multi-agent scaffolds (S2) beter presteren dan ReAct (S1) bij Level 2 maar niet bij Level 1, wordt voorwaardelijk ondersteund.

• Familie vs. Tier: Het voordeel wordt waargenomen binnen de Anthropic-familie (Haiku, Sonnet, Opus) bij Level 2, met statistisch significante verbeteringen.
• Cross-Provider: Het voordeel wordt niet waargenomen voor cross-provider modellen (Gemini, GPT-5.5), waarbij de gaps ononderscheidbaar zijn van nul. Dit suggereert dat het model-familie, in plaats van de capaciteit-tier, de conditionerende variabele is.

4. Planner-Executor op File-taken (H4 Falsifieerd)

De hypothese dat Planner-then-Executor (S3) beter presteert op file-reading taken, is falsifieerd.

• Slechts één cel (Opus, Level 1) vertoonde een ondersteunend difference-of-differences onder de primary slice, en dit verdween onder de robust slice.
• Het resultaat wordt begrensd door "floor" effecten (Haiku's slechte documentafhandeling) en "ceiling" effecten (Gemini/GPT-5 die file-taken reactief oplossen op 100%).

5. Gedragssignaturen en Kosten

• Efficiëntie: Gestructureerde scaffolds (S2, S3) doen aanzienlijk minder tool calls en emitteren minder tokens dan ReAct (S1).
• Herstel: Bij Level 2 herstellen gestructureerde scaffolds vaker van fouten halverwege het traject dan ReAct, ondanks dat ze minder calls doen.
• Kosten: Gemini met S3 is de goedkoopste cel bij beide niveaus en de meest accurate bij Level 2. De Anthropic-familie vertoont een grotere cost-per-correct dispersie bij Level 2, wat aangeeft dat scaffold-keuze een belangrijke budgetbeslissing is voor deze modellen.

Betekenis en Claims

Het artikel concludeert dat single-scaffold capaciteitsgetallen scaffold-conditionele schattingen zijn, geen intrinsieke modeleigenschappen.

• De Elicitation Gap is Groot en Persistent: De gap is meetbaar onder gecontroleerde omstandigheden en is niet gegarandeerd kleiner naarmate modellen verbeteren; in feite kan deze groeien voor capabele modellen bij moeilijke taken.
• Vergelijkbaarheidsproblemen: Het vergelijken van twee modellen die onder verschillende scaffolds zijn geëvalueerd, is "bijna oninterpreteerbaar" als een modelvergelijking, aangezien het verschil volledig toe te schrijven kan zijn aan de fit van de agent-loop.
• Inkoopimplicaties: Voor evaluatoren met vaste budgetten resulteert het kiezen van een slechte scaffold in het meten van minder capaciteit terwijl men meer betaalt per eenheid gemeten capaciteit.
• Methodologische Verschuiving: De studie betoogt dat capaciteitsevaluaties verder moeten gaan dan enkele single-scaffold puntramingen om rekening te houden met de interactie tussen model, scaffold en taakcomplexiteit.

De auteurs blijven bescheiden over de reikwijdte, waarbij zij opmerken dat het multi-agent voordeel specifiek is voor de Anthropic-familie en dat de file-reading hypothese een grotere taakpool en modellen vereist die zich tussen de floor en ceiling bevinden voor een eerlijke hertest. De studie claimt niet het elicitation-probleem te hebben opgelost, maar biedt de eerste gecontroleerde kwantificering van de omvang ervan op een algemene assistent-benchmark.