Technische Samenvatting: ConflictScore: Identificeren en Meten Hoe Taalmodellen Omgaan met Tegenstrijdige Bewijsvoering

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in retrieval-augmented generation (RAG) settings voor taken zoals vraagbeantwoording en rapportgeneratie, waarbij ze informatie moeten synthetiseren uit meerdere bronnen. Deze bronnen bevatten echter regelmatig tegenstrijdige bewijsvoering als gevolg van ambiguïteit, uiteenlopende meningen of tegenstrijdige feiten. Bestaande metrieken voor het evalueren van feitelijkheid en getrouwheid (bijv. FactScore, SAFE) behandelen de volledige set aan onderliggende documenten doorgaans als een enkele, verenigde referentiecorpus. Bijgevolg, als ten minste één document een bewering ondersteunt, bestempelt de metriek de bewering vaak als ondersteund, waarbij de aanwezigheid van andere documenten die de bewering tegenspreken, wordt genegeerd. Deze globale inkadering faalt in het vastleggen van de nuance van inter-bewijs onenigheid, wat leidt tot de evaluatie van overmoedige of misleidende reacties die conflicterende perspectieven negeren.

Methodologie

De auteurs introduceren ConflictScore, een nieuwe metriek die is ontworpen om te kwantificeren hoe goed een model de reactie vormgeeft en navigeert door tegenstrijdige bewijsvoering binnen zijn onderliggende documenten. In tegen tegenstelling tot eerdere benaderingen die de set aan bewijslast samenvoegen, werkt ConflictScore op basis van per document. Het framework bestaat uit drie stadia:

1. Claim Decompositie: De reactie van het model wordt gedecomposeerd in een set atomaire, minimale feitelijke beweringen (claims).
2. Bewijsevaluatie: Elke claim wordt onafhankelijk geëvalueerd tegen elk onderliggend document. Een document wordt gelabeld als SUPPORT (ondersteunt), CONTRADICT (spreekt tegen) of IRRELEVANT (irrelevant) ten opzichte van de claim. Cruciaal is dat een document een claim als ondersteunend beschouwt, zelfs als het deze slechts gedeeltelijk ondersteunt, wat genuanceerde redenering stimuleert. Een claim wordt geacht "tegenstrijdige bewijsvoering" te hebben als de set ondersteunende documenten ($D^+$) en de set tegenstrijdige documenten ($D^-$) beide niet-leeg zijn.
3. Metriekberekening: Het framework aggregeert deze labels in twee complementaire maten:
   • ConflictScore-Count (CS-C): De proportie claims in een reactie die conflicten vertonen (d.w.z. zowel ondersteunende als tegenstrijdige bewijsvoering hebben). Lagere scores duiden op minder omstreden claims.
   • ConflictScore-Ratio (CS-R): De balans tussen ondersteunende en tegenstrijdige bewijsvoering. Voor elke conflicterende claim wordt de ratio $|D^-| / (|D^+| + |D^-|)$ berekend en wordt dit gemiddeld over alle claims. Dit legt de ernst van de onenigheid vast (bijv. een 1:1 verdeling versus een 9:1 onbalans).

Om deze metriek te evalueren, hebben de auteurs ConflictBench geconstrueerd, een benchmark die bestaande datasets (ContraQA, MacNoise, AmbigDocs, ConflictingQA) aggregeert en transformeert om diverse typen conflicten te dekken, waaronder contrafeitelijke zaken, ambiguïteit en uiteenlopende meningen.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. ConflictScore Metriek: Een robuuste, conflict-bewuste uitbreiding van atomaire claim-feitelijkheidsprocessen die expliciet meet hoe reacties omgaan met gelijktijdige ondersteuning en tegenspraak vanuit onderliggende documenten.
2. ConflictBench: Een systematische benchmark die is ontworpen om conflictdetectie en kalibratie over diverse conflicttypen te evalueren, waarmee een gat in bestaande evaluatieprotocollen wordt opgevuld.
3. Diagnostische en Correctieve Nut: De demonstratie dat ConflictScore niet alleen dient als een diagnostisch instrument voor het identificeren van overmoedige claims, maar ook als een correctief signaal. Door conflictsignalen terug te koppelen naar het model, laten de auteurs verbeteringen zien in de getrouwheid van de reacties.

Resultaten

Conflict Detectie Prestaties:
Experimenten op ConflictBench met frontier modellen (bijv. Gemini-3.5-Flash, GPT-5.4-Mini) tonen aan dat de onderliggende conflictdetectie-subroutine een hoge precisie (0.98) en recall (0.90) bereikt, met een algehele F1-score van 0.94. Dit geeft aan dat de metriek goed gekalibreerd is om conflicten over verschillende datasets en modelfamilies te detecteren.

Benchmarking van LLM's:
Bij toepassing op state-of-the-art LLM's (GPT-5.4-Mini, GPT-5.4-Nano, Qwen3-32B) in een rapportgeneratietaak met tegenstrijdige bewijsvoering, onthullen de resultaten een aanzienlijke kloof in conflictbewustzijn. Ondanks expliciete prompting-strategieën die "gebalanceerde" of "super-gebalanceerde" reacties aanmoedigen, nemen modellen vaak een eenzijdig standpunt in. CS-C scores bleven consistent hoog (rond de 0.50–0.55), wat aangeeft dat modellen, zelfs met instructies om te nuanceren, vaak falen in het erkennen van de volledware omvang van de tegenstrijdige bewijsvoering.

Correctieve Feedback (TruthfulQA):
In een casestudy op TruthfulQA testten de auteurs of het terugkoppelen van conflictsignalen aan het model de getrouwheid kon verbeteren. Gebruikmakend van een "Regenerated-RAG" setting waarbij het model zijn antwoord regenereert nadat het is geïnformeerd over gedetecteerde conflicten, observeerden zij consistente verbeteringen ten opzichte van standaard RAG en prompt-gebaseerde controle-instellingen.

• Voor modellen zoals gemini3.1-flash-lite corrigeerde het regeneratieproces tot 74% van de oorspronkelijk foutieve antwoorden, terwijl er zeer weinig nieuwe fouten werden geïntroduceerd (harm rate < 3%).
• Dit suggereert dat conflictsignalen effectief modellen kunnen sturen naar meer voorzichtige en accurate redenering, met name in multiple-choice settings.

Betekenis en Beperkingen

Het artikel betoogt dat ConflictScore een noodzakelijke diagnose biedt voor het "overmoedigheid"-probleem in RAG-systemen, waarbij modellen tegenstrijdige bronnen synthetiseren tot definitieve, potentieel misleidende antwoorden. Door de spanning tussen ondersteunende en tegenstrijdige bewijsvoering te kwantificeren, biedt het een pad naar meer waarheidsgetrouwe en genuanceerde AI-reacties.

De auteurs erkennen enkele beperkingen:

• Computationele Kosten: De kwadratische complexiteit van het evalueren van elke claim tegen elk document kan duur zijn voor langere outputs, hoewel lichtgewicht varianten (bijv. het samplen van saillante claims) worden voorgesteld.
• Betrouwbaarheid van Bronnen: Het huidige framework behandelt alle onderliggende documenten gelijk, zonder ze te wegen op basis van de betrouwbaarheid van de bron. Hoewel het framework compatibel is met toekomstige betrouwbaarheid-bewuste uitbreidingen, maakt het niet inherent onderscheid tussen conflicten tussen geloofwaardige bronnen en conflicten gedreven door kwalitatief lage bewijsvoering.
• Upstream Afhankelijkheid: De metriek is afhankelijk van de nauwkeurigheid van de upstream claim-decompositie en bewijsevaluatie. Fouten in deze stappen kunnen propageren naar de uiteindelijke score, en de keuze van de granulariteit van de claims kan de evaluatie beïnvloeden.

Samenvattend stelt het artikel vast dat huidige LLM's moeite hebben om van nature met tegenstrijdige bewijsvoering om te gaan en dat expliciete conflictdetectie en feedbackmechanismen effectieve instrumenten zijn om de getrouwheid en betrouwbaarheid van gegenereerde inhoud te verbeteren.