Technische Samenvatting: Wanneer Context Schade Toebrengt: Het Crossover-effect van Kennisoverdracht op Multi-Agent Ontwerponderzoek

Probleemstelling

De heersende aanname in door AI ondersteunde software-engineering en agent-orkestratie is dat "meer context beter is". Dit geloof drijft de uitbreiding van contextvensters, de adoptie van Retrieval-Augmented Generation (RAG), en het injecteren van eerdere gesprekken, code en ontwerpartifacten in agent-interacties. Hoewel deze aanname geldt voor codegeneratie (een recall-taak waarbij context benodigde API's en patronen biedt), betogen de auteurs dat deze ongetest en potentieel gebrekkig blijft voor softwareontwerp. Ontwerp houdt in het evalueren van alternatieven, het afwegen van trade-offs en het nemen van architecturale beslissingen. Het paper onderzoekt of het injecteren van kennisartefacten van een "seed"-agentteam de ontwerponderzoekscapaciteiten van een "transfer"-team dat hetzelfde probleem oplost, verbetert of verslechtert.

Methodologie

De auteurs voerden een gecontroleerd experiment uit met 2.700+ runs over 10 softwareontwerptaken en 7 context-injectiecondities.

Experimenteel Ontwerp

Het onderzoek gebruikte drie fasen:

1. Basisenquête: Agentteams (5 instanties van Claude Sonnet 4 met verschillende persona's) losten 10 ontwerptaken op zonder ingejecteerde context om een "basisexploratiemaatstaf" vast te stellen.
2. Transfer-experiment: Een seed-team loste een taak op en genereerde artefacten. Een transfer-team loste vervolgens dezelfde taak op met één van de zeven artefacttypes ingejecteerd:
   • Transcript: Volledig deliberatieverslag.
   • Topologie: Geëxtraheerde lijst met trade-offs met redenering.
   • Ontwerpdokument: Gepolijst samenvatting van de seed-aanpak.
   • Anti-patronen: Alleen verworpen alternatieven.
   • Code: Eindimplementatiebestanden (geen redenering).
   • Basis: Geen artefact (controle).
   • Irrelevant: Een ongerelateerd technisch document.
3. Convergentiemanipulatie: De auteurs varieerden de prompt-specifiteit (van open-ended tot het verstrekken van codeskeletten) om kunstmatig convergentie te induceren en te testen of de artefacteffecten onder geforceerde beperkingen standhielden.

Evaluatiemaatstaf

Standaardmaatstaven zoals codecorrectheid werden onvoldoende geacht voor ontwerp. De auteurs introduceerden Directe Tradeoff-beoordeling, een evaluatiemethode waarbij een LLM-beoordelaar Tradeoff-coverage meet: de verhouding van bekende ontwerptrade-offs die door het team werden besproken, tegenover een gevalideerde lijst van mogelijke trade-offs voor die taak. Deze maatstaf onderscheidt convergent gedrag (vasthouden aan één oplossing) van exploratief gedrag (het overwegen van meerdere alternatieven).

Belangrijkste Bevindingen: Het Crossover-effect

De centrale ontdekking is een crossover-effect: hetzelfde artefacttype kan de ontwerponderzoek op sommige taken aanzienlijk verbeteren, terwijl het het op andere taken actief verslechtert.

• Lage-basis taken (Convergent): Op taken waar agenten van nature convergeren naar een standaardoplossing vanwege trainingsdatapriors (bijv. Rate Limiter, basiscoverage 0,033), verstoort het injecteren van context deze convergentie en breidt het exploratie uit.
  • Anti-patronen verhoogden de coverage met 20× (van 0,033 naar 0,700).
  • Transcripten verhoogden de coverage met 17×.
  • Zelfs irrelevante context verbeterde de coverage met 10×.
• Hoge-basis taken (Exploratief): Op taken waar agenten van nature meerdere oplossingen verkennen (bijv. Kubernetes Operator, basiscoverage 0,475), verankert het injecteren van context agenten aan specifieke kaders, wat de diversiteit vermindert.
  • Transcripten verlaagden de coverage met 46% (van 0,475 naar 0,256).
  • Code verlaagde de coverage met 32%.
  • Op meerdere taken (bijv. ML Training Pipeline) presteerde een irrelevant document beter dan elk relevant artefact, omdat het verstoring bood zonder schadelijke verankering.

Predictief Mechanisme

De richting van het effect (hulp versus schade) wordt voorspeld door één meetbare variabele: Basisexploratie (tradeoff-coverage zonder context).

• Correlatie: Er is een sterke negatieve correlatie tussen basisexploratie en het beste artefacteffect (Pearson $r = -0,82$, $p < 0,001$).
• Drempels:
  • Basis < 0,1: Artefacten helpen over het algemeen (verstoring van de standaard).
  • Basis > 0,3: Artefacten schaden over het algemeen (verankering aan specifieke oplossingen).
  • Basis > 0,5: Geen enkel artefact helpt; irrelevante context is vaak het minst schadelijk.

Natuurlijke versus Geïnduceerde Convergentie

Fase 3 onthulde een mechanistisch onderscheid tussen natuurlijke convergentie (gedreven door trainingsdatapriors) en geïnduceerde convergentie (gedreven door expliciete prompt-instructies).

• Natuurlijke Convergentie: Artefacten (zoals anti-patronen) kunnen de standaardgewoonten van het model verstoren en exploratie herstellen.
• Geïnduceerde Convergentie: Wanneer prompts expliciet een oplossing forceren (bijv. "Gebruik deze implementatie"), falen artefacten om exploratie te herstellen. De correlatie tussen basis en artefacteffect stort in ($r \approx 0$) onder geïnduceerde convergentie, wat suggereert dat expliciete beperkingen het verstoringsmechanisme overrulen.

Bijdragen

1. Empirische Demonstratie van het Crossover-effect: Het eerste bewijs dat kennisartefacten tegengestelde effecten kunnen hebben afhankelijk van de inherente exploratieve aard van de taak, wat de aanname "meer context is beter" uitdaagt.
2. Basisexploratie als Diagnostiek: Stelt het meten van basis tradeoff-coverage voor als een goedkope, voorspellende maatstaf ($r = -0,82$) om te bepalen of contextinjectie een specifieke taak zal helpen of schaden.
3. Mechanistisch Onderscheid: Identificeert dat het crossover-effect afhangt van waarom agenten convergeren (trainingspriors versus expliciete instructies), waarbij artefacten alleen effectief natuurlijke convergentie verstoren.
4. Directe Evaluatiemethode: Introduceert een op rubricen gebaseerde methode voor het meten van tradeoff-coverage in ontwerp, waarmee de kloof wordt gedicht tussen het evalueren van de verkenning van de ontwerpruimte en codecorrectheid.

Betekenis en Implicaties

Het paper concludeert dat contextinjectie conditioneel, niet universeel moet zijn.

• Voor Convergente Taken: Het injecteren van "verstoring"-artefacten (anti-patronen, transcripten of zelfs irrelevante tekst) is gunstig om standaardoplossingen te doorbreken.
• Voor Exploratieve Taken: Het injecteren van relevante artefacten is vaak contraproductief, omdat het de ontwerpruimte verkleint. In deze gevallen is irrelevante context of geen context preferabel.
• Systeemontwerp: Agent-orkestratiesystemen moeten een "zonder-context proef" uitvoeren als diagnostiek voordat kennis wordt ingejecteerd. De industriestandaard van onvoorwaardelijke contextinjectie riskeert de ontwerpkwaliteit te verslechteren op taken waar agenten al verkennen.
• RAG-systemen: Zoekstrategieën die geoptimaliseerd zijn voor relevantie kunnen schadelijk zijn in ontwerpscontexten; "anti-relevantie" (het aan het licht brengen van contrariërende meningen) zou effectiever kunnen zijn.

De auteurs benadrukken dat context weliswaar implementatie helpt (recall), maar als een tweesnijdend zwaard werkt voor ontwerp (exploratie), waarbij de kwaliteit van de verkenning van de ontwerpruimte net zo cruciaal is als de uiteindelijke output.