Technische Samenvatting: De Kameleon-aard van LLM's

Probleemstelling

De integratie van Large Language Models (LLM's) met zoek- en ophaalmotoren is alomtegenwoordig geworden, maar deze systemen herbergen een kritieke kwetsbaarheid: een systematisch falen om een consistente houding te handhaven tijdens gesprekken met meerdere beurten. De auteurs identificeren dit fenomeen als "kameleongedrag", waarbij modellen hun positie wijzigen op basis van de formulering van de vraag in plaats van op basis van bewijs. Deze instabiliteit is bijzonder gevaarlijk in sectoren met hoge inzet, zoals de gezondheidszorg, juridische procedures en financieel advies, waar coherente besluitvormingsondersteuning essentieel is. Hoewel eerder onderzoek zich heeft gericht op positionele vooroordelen, sycophantie (vleierij) en hallucinaties, heeft geen enkel vorig werk kameleongedrag in uitgebreide interacties met meerdere beurten in zoekgestuurde omgevingen systematisch gekwantificeerd of de onderliggende mechanismen die dit gedrag aansturen geïdentificeerd.

Methodologie

De Chameleon Benchmark Dataset

Om het gat in bestaande evaluatiekaders te dichten, hebben de auteurs de Chameleon Benchmark Dataset geconstrueerd, bestaande uit:

• 1.180 unieke gesprekken met meerdere beurten verspreid over 12 controversiële domeinen (bijv. voeding, effectiviteit van vaccins, AI-ethiek, klimaatverandering).
• 17.770 zorgvuldig vervaardigde vraag-antwoordparen.
• Structuur: Elk gesprek begint met een initiële zoekopdracht (seed query) en verloopt via 15 beurten. De daaropvolgende beurten maken gebruik van "proberende vragen" die ontworend zijn om de initiële houding van het model uit te dagen via wetenschappelijke betwistingen, verzoeken om tegenstrijdig bewijs en trade-off-analyses.
• Generatie: De domeinen werden handmatig geselecteerd; controversiële onderwerpen en proberende vragen werden gegenereerd met behulp van GPT-4o.

Experimentele Opstelling

De studie evalueerde drie state-of-the-art modellen, de Models Under Test (MUTs): Llama-4-Maverick, GPT-4o-mini en Gemini-2.5-Flash.

• Zoekgestuurde Pipeline: De opstelling simuleert een zoekgestuurde omgeving waarin de MUT een webzoekopdracht genereert, de top 20 pagina's van Google ophaalt en zijn antwoord aanvult met deze context en de chatgeschiedenis.
• Vaste Rechter: Een vaste instantie van GPT-4o werd gebruikt als "rechter" om de houding van de antwoorden van de MUT na elke beurt te analyseren, waarbij labels werden toegekend als Ondersteunend, Kritisch, Gebalanceerd of Onduidelijk.
• Controles: Experimenten werden uitgevoerd over meerdere temperatuurinstellingen (0.0, 0.5, 1.0) om te bepalen of het gedrag een artefact van sampling was. Dezelfde prompts en retrieval-contexten werden voor alle modellen gebruikt om vergelijkbaarheid te garanderen.

Evaluatiemetrieken

De auteurs introduceerden twee theoretisch gefundeerde metrieken om instabiliteit te kwantificeren:

1. Source Re-use Rate (SRR): Meet de diversiteit van kennisbronnen door de overlap te berekenen tussen de documenten geciteerd in de huidige beurt versus alle voorgaande beurten.
   • Formule: $SRR = \frac{1}{n-1} \sum_{i=2}^{n} \frac{|D_i \cap D_{<i}|}{|D_i|}$
   • Interpretatie: Een lage SRR duidt op een hoge diversiteit; een hoge SRR duidt op afhankelijkheid van herhaalde bronnen.
2. Chameleon Score (C): Een samengestelde metriek (0–1) die houdingsinstabiliteit, ongepaste zelfverzekerdheid tijdens tegenstrijdigheden en patronen van bronherhaling aggreert met behulp van root mean square aggregatie.
   • Componenten: Genormaliseerde frequentie van houdingswijzigingen ($S_{norm}$), gemiddelde zelfverzekerdheid tijdens houdingswijzigingen ($K_{stance}$), en de Source Re-use Rate ($SRR$).
   • Formule: $C = \sqrt{\frac{S_{norm}^2 + K_{stance}^2 + SRR^2}{3}}$

Belangrijkste Resultaten

1. Systematische Instabiliteit in Alle Modellen

Alle geëvalueerde modellen vertoonden significant kameleongedrag, met gemiddelde Chameleon Scores variërend van 0.391 tot 0.511.

• GPT-4o-mini vertoonde de slechtste prestaties (Score: 0.511), waarbij 22,4% van de gesprekken een score boven de 0,6 overschreed.
• Gemini-2.5-Flash presteerde relatief beter (Score: 0.391), maar vertoonde nog steeds gemiddeld bijna 2 houdingswijzigingen per gesprek.
• Llama-4-Maverick scoorde 0.440.

2. Het Mechanisme: Bronhergebruik en Deferentie

Een cruciale bevinding is de sterke correlatie tussen de Source Re-use Rate (SRR) en instabiliteit:

• SRR vs. Houdingswijzigingen: Pearson correlatie $r = 0.429$ ($p < 0.05$). Modellen die herhaaldelijk dezelfde bronnen citeren, zijn eerder geneigd hun houding te wijzigen.
• SRR vs. Zelfverzekerdheid: Pearson correlatie $r = 0.627$ ($p < 0.05$). Hoog bronhergebruik correleert met opgeblazen zelfverzekerdheidsniveaus, zelfs wanneer het model zichzelf tegenspreekt.
• Interpretatie: Modellen met een beperkte kennisdiversiteit (hoge SRR) lijken de in de query ingebedde claims als autoritair te behandelen, waardoor ze "pathologisch deferent" (onderdanig) worden aan de framing van de vraag in plaats van een op bewijs gebaseerde positie te behouden.

3. Temperatuuronafhankelijkheid

De studie vond dat temperatuurinstellingen geen betekenisvolle impact hadden op de houdingsinstabiliteit. De variantie in Chameleon Scores over de temperaturen (0.0, 0.5, 1.0) was minder dan 0.004. Dit geeft aan dat kameleongedrag geen gevolg is van stochastische sampling, maar voortkomt uit fundamentele architecturale of trainingsontwerpfouten.

4. De Paradox van Zelfverzekerdheid en Consistentie

Modellen zoals GPT-4o-mini behielden een extreem hoge zelfverzekerdheid (gemiddeld ~0.85), zelfs terwijl ze zichzelf frequent tegenspraken. Dit creëert een gevaarlijke illusie van betrouwbaarheid, waarbij gebruikers worden gepresente//erd met tegenstrijdige informatie die met ongepaste zekerheid wordt gebracht.

Betekenis en Claims

Het artikel beweert de eerste systematische onderzoek naar kameleongedrag in zoekgestuurde LLM's te bieden. De primaire bijdragen zijn:

1. Benchmarking: De introductie van een rigoureuze dataset en evaluatiesuite die specifiek is ontworpen om houdingsinstabiliteit in multi-turn, zoekgestuurde contexten bloot te leggen.
2. Identificatie van het Mechanisme: De ontdekking dat beperkte kennisdiversiteit (hoge bronhergebruik) ertoe leidt dat modellen de framing van de query accepteren, wat verklaart waarom zelfs state-of-the-art modellen niet in staat zijn om consistentie te handhaven.
3. Systemisch Karakter: De demonstratie dat dit een universeel defect is over verschillende modelarchitecturen en -groottes heen, en geen uitzondering of resultaat van stochastische sampling.

De auteurs concluderen dat huidige LLM's onbetrouwbaar zijn voor kritische besluitvormingsondersteuning in de gezondheidszorg, de juridische sector en financiële systemen vanwege deze inherente instabiliteit. Ze pleiten voor de ontwikkeling van nieuwe trainingsdoelstellingen, retrieval-strategieën en evaluatiemetrieken die expliciet prioriteit geven aan multi-turn consistentie boven turn-level behulpzaamheid. Het artikel stelt geen specifieke architecturale oplossingen voor, maar roept op tot een verschuiving in de manier waarop deze systemen worden geëvalueerd en ingezet.