Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation

Technische Samenvatting: Drie Regimes van Context-Parametrisch Conflict

Probleemstelling
De literatuur over hoe Large Language Models (LLM's) conflicten oplossen tussen hun parametrische trainingskennis en tegenstrijdige externe documenten, presenteert een aanhoudende empirische tegenstrijdigheid. Sommige studies (bijv. Longpre et al., 2021) observeren dat modellen hardnekkig getrainde antwoorden behouden, terwijl andere (bijv. Xie et al., 2024) vaststellen dat modellen zich readily aan documenten onderwerpen. Dit artikel betoogt dat deze tegenstrijdigheden ontstaan omdat eerdere onderzoek drie kwalitatief verschillende verwerkingssituaties met elkaar heeft verward. Zonder onderscheid tussen deze situaties lijken bevindingen onverenigbaar, waardoor de specifieke variabelen die modelgedrag in elke context sturen, worden verduisterd.

Methodologie
De auteurs stellen een drie-regimekader voor en valideren dit door middel van een reeks experimenten met 9.970 API-aanroepen over vijf frontier-modellen: Claude Sonnet 4.6, GPT-5.5, Gemini 2.5 Flash, Llama 4 Maverick en DeepSeek V3.

1. Kaderdefinitie: Het artikel definieert drie regimes op basis van de verwerkingssituatie:

   • Regime 1 (Single-source updating): Er wordt alleen een document getoond; trainingskennis is niet expliciet geactiveerd.
   • Regime 2 (Competitive integration): Zowel trainingskennis als een tegenstrijdig document zijn expliciet en gelijktijdig actief.
   • Regime 3 (Task-appropriate selection): De taakinstructies dicteren expliciet welke bron (context of parametrische kennis) de overhand moet hebben.

2. Experimenteel Ontwerp:

   • Dataset: 450 items uit PopQA, gestratificeerd in lage, middelmatige en hoge zekerheidsniveaus op basis van de frequentie van Wikipedia-pagina-bezoeken (parametrische sterkte).
   • Validatie Regime 1 & 2: De studie vergelijkt single-turn prompts (Regime 1) met multi-turn conversatieontwerpen waarbij het model eerst een getraind antwoord bevestigt voordat het geconfronteerd wordt met een tegenstrijdigheid (Regime 2). Statistische analyse maakt gebruik van Generalized Estimating Equations (GEE) met binomiale families om de waarschijnlijkheid van contextvolging te modelleren, gecontroleerd voor clustering op itemniveau.
   • Parametrische Dimensies: De auteurs onderscheiden formeel tussen parametrische sterkte (blootstellingsfrequentie) en parametrische uniciteit (coderingsconsistentie/omgekeerde bewerkingsfrequentie), en testen hun orthogonaliteit en voorspellende kracht.
   • Ablatie Regime 3: Een dedicated experiment (1.000 oproepen) test dezelfde items onder twee raamwerkcondities: "Alleen Context" (CK) versus "Alleen Parametrisch" (PK) instructies.

Belangrijkste Bijdragen

1. Drie-Regime Kader: Een voorspellende taxonomie die vier grote tegenstrijdigheden in de literatuur oplost door ze te koppelen aan specifieke regimes. Het verduidelijkt dat bevindingen uit verschillende regimes niet direct vergelijkbaar zijn.
2. Orthogonaliteit van Geheugeneigenschappen: Empirisch bewijs dat aantoont dat parametrische sterkte en parametrische uniciteit orthogonale dimensies zijn ($r = -0,002$). De studie identificeert dat in stabiele feitelijke domeinen (zoals PopQA) sterkte de werkzame voorspeller van weerstand is, terwijl uniciteit dat niet is.
3. Manipulatiedesign als Eerste-Orde Variabele: Het artikel demonstreert dat de structuur van de prompt (single-turn bewering versus multi-turn conversatie) het waargenomen conflictgedrag fundamenteel verandert, met name voor closed-weight modellen.
4. Dominantie van Taakframing: Validatie dat taakinstructies (Regime 3) de enige meest krachtige variabele zijn, en in staat zijn om contextvolgingspercentages van bijna 100% naar een-cijferige waarden te keren.

Resultaten

• Regime 1: Modellen volgen over het algemeen context op plafondniveaus, ongeacht de feitelijke zekerheid, mits het bewijs coherent is. Parametrische zekerheid is hier geen dominante voorspeller.
• Regime 2: Er ontstaat een significante zekerheidsgradiënt. Naarmate de parametrische sterkte toeneemt (beroemde feiten), worden modellen resistenter tegen tegenstrijdige documenten. GEE-logistische regressie bevestigt deze gradiënt over alle vijf modellen heen ($\beta = -0,38$ tot $-0,50$, allemaal $p \le .013$).
  • Grootte van de Gradiënt: Llama 4 Maverick toonde de steilste gradiënt (30,8 procentpunten), terwijl Gemini een minimale gradiënt vertoonde (1,5 pp) in dit regime, hoewel deze statistisch significant bleef in continue modellering.
  • Ontwerpsensitiviteit: Closed-weight modellen (Claude, GPT-5.5) toonden in single-turn Regime 2 bijna plafondhoge contextvolging, maar onthulden significante weerstand in multi-turn ontwerpen, wat suggereert dat single-turn beweringen voor deze modellen geen echte parametrische competitie activeren.
• Regime 3: Taakframing keert het gedrag volledig om. Onder "Alleen Context"-instructies volgden alle modellen de distractor ongeveer 100% van de tijd. Onder "Alleen Parametrisch"-instructies daalde de contextvolging naar 6–71%. De zekerheidsgradiënt herrees binnen de PK-conditie en modereerde de grootte van de weerstand.
• Modelverschillen: Er bestaat een splitsing tussen closed-weight en open-weight modellen. Closed-weight modellen zijn zeer gehoorzaam aan taakframing (ze onderwerpen zich aan de context of weerstaan deze zoals instructed), terwijl open-weight modellen (Llama, DeepSeek) minder gehoorzaam zijn aan instructies als "gebruik je eigen kennis".

Betekenis en Beweringen
Het artikel beweert dat de "tegenstrijdigheden" in de conflictliteratuur artefacten zijn van het vergelijken van appels met peren. Door de drie regimes te herkennen, kunnen onderzoekers verklaren waarom modellen in sommige studies hardnekkig lijken en in andere ontvankelijk.

De auteurs stellen dat:

1. Voorspellers regimespecifiek zijn: Bewijscoherentie drijft Regime 1, parametrische zekerheid drijft Regime 2, en taakeisen drijven Regime 3.
2. Manipulatiedesign cruciaal is: De methode die wordt gebruikt om conflict in te voeren (bijv. single-turn versus multi-turn) is een primaire variabele die parametrische weerstand kan verduisteren of onthullen, met name bij commerciële modellen.
3. Praktische Implicatie: Voor Retrieval-Augmented Generation (RAG) en veiligheidsapplicaties moet regimeclassificatie voorafgaan aan de vergelijking van conflictbevindingen. Taakframing biedt een potentiële mitigatiestrategie voor injectie van desinformatie, aangezien het parametrische weerstand kan activeren wanneer expliciet instructed.

De studie concludeert dat het kader de bestaande empirische tegenstrijdigheden oplost en een gestructureerde basis biedt voor toekomstig onderzoek, met de waarschuwing dat voorspellers niet generaliseren over regimegrenzen heen.