Technische Samenvatting: Meer Is Niet Altijd Beter: Kruiscomponent Interferentie in LLM Agent Scaffolding

Probleemstelling

Het standaardparadigma voor het construeren van Large Language Model (LLM) agenten omvat "scaffolding": het verrijken van een basismodel met een stapel functionele componenten zoals planningsmodules, tool-interfaces, geheugen, zelfreflectie en retrieval. De heersende aanname in het veld is dat het toevoegen van meer componenten de prestaties verbetert ("meer is beter"). Dit artikel daagt die aanname uit door Cross-Component Interference (CCI) te onderzoeken: het fenomeen waarbij het combineren van scaffolding-componenten resulteert in negatieve marginale opbrengsten, waardoor het volledige "All-In"-systeem onderpresteert ten opzichte van specifieke subsets van die componenten.

Methodologie

De auteurs voerden een systematisch, full-factorieel empirisch onderzoek uit om het interactielandschap van agentcomponenten in kaart te brengen.

• Experimenteel Ontwerp: Een full-factorieel ontwerp over alle $2^5 = 32$ subsets van vijf canonieke scaffolding-componenten:
  1. Planning (P): Opdrachten ontleden in subdoelen.
  2. Tool Use (T): Functie-aanroepinterfaces.
  3. Geheugen (M): Gestructureerd werkgeheugen.
  4. Gestructureerd Redeneren (SR): Chain-of-thought opmaak.
  5. Reflectie (R): Zelfevaluatie-prompten.
• Benchmarks & Modellen: Experimenten werden uitgevoerd op twee benchmarks: HotpotQA (multi-hop redeneren, retrieval-gericht) en GSM8K (wiskundig redeneren). Het onderzoek besloeg drie model-families en vijf schalen:
  • Llama-3.1 (8B, 70B)
  • Qwen2.5 (3B, 7B)
  • Claude Haiku 4.5 (via AWS Bedrock)
• Schaal: Het onderzoek omvatte 118 gecontroleerde configuraties en meer dan 32.000 evaluaties. Belangrijke configuraties werden gevalideerd over 10 willekeurige seeds (16.000 evaluaties op HotpotQA/8B).
• Statistische Analyse: De auteurs pasten gepaarde t-toetsen, Wilcoxon signed-rank toetsen, Bayesiaanse analyse (JZS-priors) en effectgroottemetingen (Cohen's $d_z$) toe. Zij gebruikten exacte Shapley-waarde decompositie om waarde toe te schrijven aan componenten en testten op schendingen van submodulariteit. Regressiemodellen (hoofdeffecten versus paarsgewijze interactie) werden gefit om de interactiestructuur te karakteriseren.

Belangrijkste Resultaten

1. Voorkomen van Cross-Component Interference (CCI)

In elke geteste setting presteerde de beste juiste subset van componenten gelijk aan of beter dan het volledige "All-In"-systeem.

• HotpotQA (Llama-3.1-8B): De single-tool agent (alleen Tool Use) presteerde significant beter dan het 5-componenten All-In-systeem met 32% (F1 0,233 vs. 0,177; $p=0,023$). Het toevoegen van een willekeurige component aan de Tool Use-baseline degradeerde de prestaties in 5 van de 6 uitbreidingen.
• GSM8K (Llama-3.1-8B): De optimale configuratie vereiste drie componenten (Tool Use + Gestructureerd Redeneren + Reflectie), wat resulteerde in 79% hogere nauwkeurigheid dan het All-In-systeem (0,43 vs. 0,24).
• Optimaal Aantal ($k^*$): Het optimale aantal componenten is taakafhankelijk ($k^*=1$ voor HotpotQA, $k^*=3$ voor GSM8K) en schaalgevoelig.

2. Schaal- en Modelafhankelijkheid

De ernst van CCI volgt een competentiegradiënt:

• 8B Modellen: CCI is sterk en alomtegenwoordig.
• 70B Modellen: CCI is afgezwakt maar blijft bestaan. Op HotpotQA缩小de het gat tussen de beste subset en All-In van 32% (8B) naar 19% (70B). Opmerkelijk is dat de richting van interferentie voor sommige componenten omkeerde (bijvoorbeeld: het toevoegen van Reflectie hielp bij 70B maar schaade bij 8B), toch presteerde het All-In-systeem niet beter dan de beste subset.
• Claude Haiku 4.5: CCI verzadigde tot niveaus binnen de ruis. Hoewel het All-In-systeem niet slechter was dan eenvoudigere subsets, droegen de extra componenten boven Tool Use vrijwel niets bij (0,2% winst), wat wijst op een "plateau" waar complexiteit nul marginale opbrengst oplevert.

3. Structurele Analyse en Interactiemodellen

• Dominantie van Hoofdeffecten: Een regressiemodel met 6 parameters voor hoofdeffecten verklaarde 91,6% van de variantie ($R^2=0,916$), wat beslissend beter was dan een 16-parameter model voor paarsgewijze interactie ($\Delta BIC = 25,3$). Dit suggereert dat CCI grotendeels additief is; componenten leggen een relatief constante marginale kosten- of batenlast op, ongeacht de context.
• Shapley-waarden: Tool Use nam 70% van de totale scaffold-waarde voor zijn rekening. Daarentegen had Planning een significant negatieve Shapley-waarde ($\phi = -0,029$), en Geheugen was richting-gezien negatief op HotpotQA.
• Niet-Submodulariteit: Het onderzoek vond 183 schendingen van submodulariteit van de 325 testbare triples (56,3%). De mediaan submodulariteitsratio was $\gamma_{med} = 0,52$. Cruciaal vertoonden 90% van de top-schendingen tekenwisseling: componenten die schadelijk waren in isolatie werden gunstig in specifieke combinaties (bijvoorbeeld: Gestructureerd Redeneren schaade Tool Use alleen, maar hielp wanneer gecombineerd met Planning en Reflectie). Dit maakt hebzuchtige selectiestrategieën empirisch onbetrouwbaar.

4. Robuustheid

• Cross-Familie Replicatie: Het kwalitatieve patroon (Tool Use domineert, All-In is suboptimaal) werd gerepliceerd over de Qwen2.5- en Llama-families.
• Template Robuustheid: De kernbevinding hield stand over drie semantisch equivalente prompt-templatevarianten, hoewel fijnmazige configuratierankings gevoelig waren voor formulering.
• Lengtecontrole: Reële componenten presteerden 6–9× beter dan lengte-gematchte betekenisloze opvulling, wat bevestigt dat CCI wordt gedreven door semantische inhoud, niet door token-aantal.

Betekenis en Claims

Het artikel beweert dat de aanname "meer is beter" systematisch verkeerd is voor op prompts gebaseerde scaffolding. De auteurs betogen dat:

1. Praktijkstandaarden Gebrekkig Zijn: De standaard van het inzetten van maximaal uitgeruste agenten leidt tot prestatiedegradatie door interferentie.
2. Taakspecifieke Selectie Vereist Is: Optimaal agentontwerp vereist het selecteren van taakspecifieke subsets die worden ingegeven door interactiebewuste analyse in plaats van het stapelen van alle beschikbare modules.
3. Hebzuchtige Selectie Faalt: Door tekenwisseling en niet-submodulariteit is het toevoegen van componenten één voor één totdat de marginale opbrengst negatief wordt, een onbetrouwbare strategie om de optimale agentconfiguratie te vinden.
4. Mechanisme: Het artikel identificeert CCI als een vorm van "context-window overbevolking" (een inferentie-tijd analoog aan gradient conflict in multi-task learning), waarbij componenten concurreren om aandacht of signalen verdunnen, hoewel het exacte causale mechanisme een open vraag blijft.

Het onderzoek concludeert dat hoewel grotere modellen (70B+) en zeer capabele gesloten-bronmodellen (Claude Haiku) bredere componentcombinaties kunnen tolereren, de eenvoudigste adequate scaffold consistent gelijk presteert aan of beter is dan de volledige agent over alle geteste schalen.