💬 NLP

ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence

Dieses Paper führt ConflictScore ein, eine neuartige Metrik und einen Benchmark, der darauf ausgelegt ist, zu quantifizieren, wie gut Sprachmodelle widersprüchliche Belege in ihren Grundungsdokumenten anerkennen, indem er Antworten in atomare Behauptungen zerlegt und sowohl den Anteil widersprüchlicher Behauptungen als auch das Gleichgewicht zwischen stützenden und widerlegenden Belegen misst.

Ursprüngliche Autoren: Siyi Liu, Aaron Halfaker, Dan Roth, Patrick Xia

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siyi Liu, Aaron Halfaker, Dan Roth, Patrick Xia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines einzigen Zeugen haben Sie einen Raum voller zehn Personen, die Ihnen Aussagen geben. Einige sagen, der Verdächtige sei im Park gewesen; andere schwören, sie hätten ihn in der Bibliothek gesehen.

Das Problem: Die „Ja, aber...“-Blindstelle
Aktuelle KI-Modelle (wie die Chatbots, die Sie vielleicht nutzen) sind großartig darin, Informationen zu finden. Aber wenn sie auf widersprüchliche Geschichten stoßen, verhalten sie sich oft wie ein stures Kind, das die lauteste Stimme herauspickt und den Rest ignoriert. Sie sagen vielleicht: „Der Verdächtige war im Park!“ und hören dann einfach auf, wobei sie völlig vergessen, dass fünf andere Zeugen etwas anderes gesagt haben.

Bestehende Werkzeuge zur Überprüfung, ob eine KI die Wahrheit sagt, sind wie ein einfacher „Bestanden/Nicht bestanden“-Test. Sie fragen: „Hat irgendein Zeuge diese Geschichte unterstützt?“ Wenn eine Person „Park“ sagte, erhält die KI eine bestandene Note, selbst wenn die anderen neun „Bibliothek“ sagten. Dies vermittelt ein falsches Gefühl der Sicherheit.

Die Lösung: ConflictScore
Die Autoren dieser Arbeit führen ein neues Werkzeug namens ConflictScore ein. Stellen Sie sich ConflictScore als einen „Konflikt-Detektiv“ vor, der nicht nur fragt, ob eine Geschichte unterstützt wird, sondern fragt: „Wird diese Geschichte von anderen Zeugen angefochten?“

So funktioniert es, unterteilt in drei einfache Schritte:

Das Aufteilen (Claim Decomposition):
Stellen Sie sich vor, die KI schreibt einen langen Absatz. ConflictScore zerlegt diesen Absatz in winzige, einzelne Sätze (atomare Behauptungen). Es ist, als würde man einen großen Kuchen in einzelne Stücke schneiden, um jedes Stück einzeln zu untersuchen.
Der Zeugenstand (Evidence Evaluation):
Für jeden einzelnen Satz prüft das Werkzeug diesen gegen jedes einzelne Dokument, das die KI verwendet hat. Es fragt: „Unterstützt Dokument A diesen Satz? Widerspricht Dokument B ihm?“

Unterstützung (Support): Das Dokument stimmt zu.
Widerspruch (Contradict): Das Dokument widerspricht.
Irrelevant (Irrelevant): Das Dokument spricht das Thema nicht an.

Die Ergebniskarte (The Metrics):
Das Werkzeug liefert zwei Scores:

ConflictScore-Count (CS-C): Dies ist wie ein „Probleme-Zähler“. Er gibt an, welcher Prozentsatz der Sätze der KI mit den Beweisen in Konflikt steht. Wenn 4 von 6 Sätzen dadurch angefochten werden, dass Zeugen dagegen argumentieren, ist der Score hoch (was bedeutet, dass die KI in Schwierigkeiten ist).
ConflictScore-Ratio (CS-R): Dies ist eine „Waage“. Es misst, wie die Beweise aufgeteilt sind. Ist es eine 50/50-Aufteilung (eine echte Debatte) oder ein 9 zu 1 (eine Landraste)? Dies hilft zu verstehen, wie schwerwiegend die Uneinigkeit ist.

Der Testlauf: ConflictBench
Um zu sehen, ob ihr neues Detektiv-Werkzeug funktioniert, haben die Autoren ein Fitnessstudio namens ConflictBench gebaut. Sie sammelten tausende Fragen, bei denen die Antworten unordentlich waren:

Ambiguität (Mehrdeutigkeit): Fragen wie „Wie groß ist Cleveland?“ (Es gibt viele Städte namens Cleveland).
Widerspruch: Dokumente, die explizit Gegensätzliches sagen (z. B. „Das Ereignis war im Jahr 1990“ vs. „Das Ereignis war im Jahr 1995“).
Meinung: Fragen, bei denen Menschen tatsächlich uneins sind (z. B. „Ist diese Webdesign-Technik gut?“).

Sie testeten ihr Werkzeug in diesem Fitnessstudio und fanden heraus, dass es sehr gut darin war, zu erkennen, wenn eine KI die argumentierenden Zeugen ignorierte.

Was sie herausfanden

KI ist übermäßig selbstbewusst: Selbst wenn die Dokumente klar widersprachen, neigten die KI-Modelle dazu, eine Seite zu wählen und sich so zu verhalten, als wäre sie die absolute Wahrheit. Sie ignorierten oft die „Bibliothek“-Zeugen, während sie lautstark über den „Park“ schrien.
Reden hilft nicht: Die Autoren versuchten, der KI durch „sanfte Erinnerungen“ in ihren Anweisungen zu helfen (wie „Bitte sei vorsichtig und berücksichtige alle Seiten“). Das half ein wenig, aber die KI lag trotzdem oft falsch. Es ist, als würde man einem störrischen Hund sagen, er solle „nett sein“, aber er beißt trotzdem den Postboten.
Der „Nochmal machen“-Trick: Die spannendste Erkenntnis lag im TruthfulQA-Experiment. Als sie ConflictScore verwendeten, um der KI zu sagen: „Hey, du hast einen Widerspruch übersehen, versuch es nochmal“, wurde die KI tatsächlich besser. Es war, als würde ein Schüler eine Korrektur mit einem roten Stift auf einer Prüfung erhalten, seinen Fehler erkennen und seine Antwort korrekt umschreiben.

Das Fazit
ConflictScore ist eine neue Art zu messen, ob eine KI ehrlich mit der Unordnung der realen Welt umgeht. Es prüft nicht nur, ob die KI etwas Beweist hat; es prüft, ob die KI mutig genug ist zuzugeben, wenn die Beweise chaotisch und widersprüchlich sind.

Einschränkungen (Der Haken)
Die Autoren geben zu, dass dieses Werkzeug viel Rechenleistung benötigt, da es jeden Satz gegen jedes Dokument prüfen muss. Es ist, als würde man ein Team von 100 Anwälten engagieren, um einen einzigen Absatz zu prüfen – es ist genau, aber teuer und langsam. Außerdem behandelt das Werkzeug alle Dokumente als gleich; es weiß nicht, ob ein Dokument eine berühmte Zeitung oder ein zufälliger Blogpost ist. Es sieht nur „Dokument A“ gegen „Dokument B“.

Kurz gesagt: ConflictScore hilft uns zu sehen, wann eine KI selbstbewusst falsch liegt, weil sie die Argumente direkt vor ihrer Nase ignoriert hat.

Technisches Resümee: ConflictScore: Identifizierung und Messung der Handhabung widersprüchlicher Evidenz durch Sprachmodelle

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in Retrieval-Augmented Generation (RAG)-Umgebungen für Aufgaben wie die Beantwortung von Fragen und die Berichterstellung eingesetzt, bei denen sie Informationen aus mehreren Quellen synthetisieren müssen. Diese Quellen enthalten jedoch häufig widersprüchliche Evidenz aufgrund von Mehrdeutigkeit, divergierenden Meinungen oder kontradiktorischen Fakten. Bestehende Metriken zur Bewertung von Faktizität und Treue (z. B. FactScore, SAFE) behandeln den gesamten Satz an Dokumenten als einen einzigen, einheitlichen Referenzkorpus. Folglich wird eine Behauptung oft als unterstützt eingestuft, wenn mindestens ein Dokument sie stützt, wodurch das Vorhandensein anderer Dokumente, die ihr widersprechen, übersehen wird. Diese globale Rahmung erfasst die Nuancen zwischen-evidenzieller Diskrepanzen nicht und führt zur Bewertung von übermäßig selbstbewussten oder irreführenden Antworten, die widersprüchliche Perspektiven ignorieren.

Methodik

Die Autoren führen ConflictScore ein, eine neuartige Metrik, die darauf ausgelegt ist, zu quantifizieren, wie gut ein Modell widersprüchliche Evidenz innerhalb seiner Dokumentationsgrundlagen erkennt und navigiert. Im Gegensatz zu bisherigen Ansätzen, die den Evidenzsatz kollabieren lassen, operiert ConflictScore auf Basis jedes einzelnen Dokuments. Das Framework besteht aus drei Stufen:

Claim Decomposition (Zerlegung der Behauptungen): Die Antwort des Modells wird in einen Satz atomarer, minimaler faktischer Aussagen (Behauptungen/Claims) zerlegt.
Evidence Evaluation (Evidenzbewertung): Jede Behauptung wird unabhängig gegen jedes Dokument der Grundlage evaluiert. Ein Dokument wird in Bezug auf die Behauptung als SUPPORT (stützend), CONTRADICT (widersprechend) oder IRRELEVANT (irrelevant) klassifiziert. Entscheidend ist, dass ein Dokument eine Behauptung auch dann als stützend betrachtet, wenn es sie nur teilweise stützt, was ein nuanciertes Denken fördert. Eine Behauptung gilt als eine mit „konfliktierender Evidenz“ versehen, wenn die Menge der stützenden Dokumente ( $D^+$ ) und die Menge der widersprechenden Dokumente ( $D^-$ ) beide nicht leer sind.
Metrikberechnung: Das Framework aggregiert diese Labels in zwei komplementären Maßen:
- ConflictScore-Count (CS-C): Der Anteil der Claims in einer Antwort, die Konflikte aufweisen (d. h. sowohl stützende als auch widersprechende Evidenz haben). Niedrigere Werte deuten auf weniger umstrittene Claims hin.
- ConflictScore-Ratio (CS-R): Das Gleichgewicht zwischen stützender und widersprechender Evidenz. Für jeden konfliktbehafteten Claim wird das Verhältnis $|D^-| / (|D^+| + |D^-|)$ berechnet und der Durchschnitt über alle Claims gebildet. Dies erfasst die Schwere der Diskrepanz (z. B. eine 1:1-Aufteilung gegenüber einem 9:1-Ungleichgewicht).

Um diese Metrik zu evaluieren, haben die Autoren ConflictBench konstruiert, ein Benchmark, das bestehende Datensätze (ContraQA, MacNoise, AmbigDocs, ConflictingQA) aggregiert und transformiert, um diverse Konflikttypen abzudecken, einschließlich Kontrafaktika, Mehrdeutigkeiten und divergierender Meinungen.

Zentrale Beiträge

Das Paper leistet drei primäre Beiträge:

ConflictScore Metrik: Eine robuste, konfliktbewusste Erweiterung von atomaren Claim-Faktizitäts-Pipelines, die explizit misst, wie Antworten den gleichzeitigen Support und Widerspruch aus Dokumentationsgrundlagen handhaben.
ConflictBench: Ein systematisches Benchmark, das darauf ausgelegt ist, die Konflikterkennung und Kalibrierung über diverse Konflikttypen hinweg zu bewerten, und damit eine Lücke in bestehenden Evaluationsprotokollen schließt.
Diagnostischer und korrektiver Nutzen: Die Demonstration, dass ConflictScore nicht nur als diagnostisches Werkzeug zur Identifizierung übermäßig selbstbewusster Claims dient, sondern auch als korrektives Signal fungiert. Durch die Rückführung von Konfliktsignalen an das Modell zeigen die Autoren Verbesserungen in der Wahrhaftigkeit der Antworten.

Ergebnisse

Leistung der Konflikterkennung:
Experimente auf ConflictBench unter Verwendung von Frontier-Modellen (z. B. Gemini-3.5-Flash, GPT-5.4-Mini) zeigen, dass die zugrunde liegende Subroutine zur Konflikterkennung eine hohe Präzision (0,98) und Recall (0,90) mit einem Gesamt-F1-Score von 0,94 erreicht. Dies deutet darauf hin, dass die Metrik gut kalibriert ist, um Konflikte über verschiedene Datensätze und Modellfamilien hinweg zu erkennen.

Benchmarking von LLMs:
Bei der Anwendung auf State-of-the-Art LLMs (GPT-5.4-Mini, GPT-5.4-Nano, Qwen3-32B) in einer Berichtserstellung-Aufgabe mit widersprüchlicher Evidenz offenbaren die Ergebnisse eine signifikante Lücke in der Konfliktbewusstsein. Trotz expliziter Prompting-Strategien, die „ausgewogene“ oder „super-ausgewogene“ Antworten fördern, bekennen sich Modelle häufig zu einer einzigen Position. Die CS-C-Werte blieben konsistent hoch (um 0,50–0,55), was zeigt, dass Modelle selbst bei Anweisungen zum Abwägen (Hedging) oft daran scheitern, das volle Spektrum der widersprüchlichen Evidenz anzuerkennen.

Korrektives Feedback (TruthfulQA):
In einer Fallstudie zu TruthfulQA testeten die Autoren, ob die Rückführung von Konfliktsignalen an das Modell die Wahrhaftigkeit verbessern kann. Unter Verwendung eines „Regenerated-RAG“-Settings, bei dem das Modell seine Antwort nach der Information über detektierte Konflikte regeneriert, beobachteten sie konsistente Verbesserungen gegenüber Standard-RAG und Prompt-basierten Kontrollsettings.

Für Modelle wie gemini3.1-flash-lite korrigierte der Regenerationsprozess bis zu 74 % der ursprünglich falschen Antworten, während er nur sehr wenige neue Fehler einführte (Harm-Rate < 3 %).
Dies deutet darauf hin, dass Konfliktsignale Modelle effektiv zu vorsichtigerem und präziserem Denken führen können, insbesondere in Multiple-Choice-Settings.

Bedeutung und Limitationen

Das Paper argumentiert, dass ConflictScore ein notwendiges Diagnosewerkzeug für das „Über-Selbstbewusstsein“-Problem in RAG-Systemen bietet, bei denen Modelle widersprüchliche Quellen zu definitiven, potenziell irreführenden Antworten synthetisieren. Durch die Quantifizierung der Spannung zwischen stützender und widersprechender Evidenz bietet es einen Weg zu wahrhaftigeren und nuancierteren KI-Antworten.

Die Autoren räumen mehrere Limitationen ein:

Rechenaufwand: Die quadratische Komplexität der Evaluierung jedes Claims gegen jedes Dokument kann für langgestreckte Outputs teuer sein, obwohl leichtgewichtige Varianten (z. B. Sampling relevanter Claims) vorgeschlagen werden.
Zuverlässigkeit der Quellen: Das aktuelle Framework behandelt alle Dokumentationsgrundlagen gleich, ohne sie nach der Vertrauenswürdigkeit der Quelle zu gewichten. Während das Framework mit zukünftigen zuverlässigkeitsbewussten Erweiterungen kompatibel ist, unterscheidet es nicht inhärent zwischen Konflikten unter glaubwürdigen Quellen und solchen, die durch qualitativ minderwertige Evidenz getrieben werden.
Upstream-Abhängigkeit: Die Metrik hängt von der Genauigkeit der vorgelagerten Claim-Zerlegung und der Evidenz-Labeling ab. Fehler in diesen Schritten können sich auf den finalen Score auswirken, und die Wahl der Claim-Granularität kann die Evaluation beeinflussen.

Zusammenfassend lässt sich sagen, dass das Paper etabliert, dass aktuelle LLMs Schwierigkeiten haben, widersprüchliche Evidenz natürlich zu handhaben, und dass explizite Konflikterkennungs- und Feedbackmechanismen effektive Werkzeuge sind, um die Wahrhaftigkeit und Zuverlässigkeit generierter Inhalte zu verbessern.