Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

1. Problemstellung

Das Paper adressiert die Lücke in der Forschung zur Erkennung von Dokumenteninkonsistenzen (Document Inconsistency Detection) mittels Large Language Models (LLMs). Während LLMs in vielen Bereichen erfolgreich sind, ist die Forschung zu ihrer Fähigkeit, Widersprüche innerhalb eines einzelnen Dokuments zu finden, noch begrenzt.

Das spezifische Problem wird wie folgt definiert:

• Eingabe: Ein Dokument $x$.
• Ziel:
  1. Klassifizierung, ob eine Inkonsistenz vorliegt ($y \in \{Ja, Nein\}$).
  2. Identifikation der Beweisführung (Evidence Extraction): Falls eine Inkonsistenz vorliegt, muss der Satz oder die Sätze ($E = \{s_1, ..., s_k\}$) identifiziert werden, die den Widerspruch enthalten.
• Herausforderung: Menschen haben Schwierigkeiten, Widersprüche in langen, informativen Texten zu finden, besonders wenn diese weit voneinander entfernt sind. Bestehende Metriken bewerten oft nur die Klassifizierungsgenauigkeit, ignorieren aber die Qualität der extrahierten Beweise. Ein System, das zwar korrekt „Ja" sagt, aber keine oder falschen Beweise liefert, ist für den Nutzer nutzlos oder sogar verwirrend.

2. Methodik

A. Neue Metriken für die Beweisauswahl

Die Autoren kritisieren die bisherige Metrik „Evidence Hit Rate" (EHR), da sie unvollständig ist (z. B. würde ein Modell, das jeden Satz als Beweis ausgibt, eine perfekte EHR haben, aber für den Nutzer unbrauchbar sein). Sie führen daher ein umfassendes Metrik-Set ein:

• Evidence Hit (EH): Erfordert, dass alle wahren Beweissätze korrekt extrahiert wurden (sehr streng).
• Evidence Precision (EP): Misst den Anteil der extrahierten Sätze, die tatsächlich Beweise sind (bestraft viele False Positives).
• Evidence Recall (ER): Misst den Anteil der wahren Beweise, die gefunden wurden (belohnt Teilmenge-Extraktion).
• Kombinierte Metriken: Es werden Varianten eingeführt, die nur bei korrekter Klassifizierung zählen (z. B. EHRC, EPRC, ERRC), um den Zusammenhang zwischen Klassifizierung und Extraktion zu analysieren.

B. Der „Redact-and-Retry"-Framework (RnR)

Um die Extraktionsleistung zu verbessern, schlagen die Autoren einen iterativen Ansatz vor, der von Agenten-Workflows inspiriert ist:

1. Redact (Löschen): Das LLM liest das Dokument und extrahiert Beweise. Anschließend werden diese extrahierten Sätze aus dem Dokument entfernt (maskiert), wobei die Reihenfolge der restlichen Sätze erhalten bleibt.
2. Retry (Wiederholen): Das LLM wird erneut mit dem verkürzten Dokument beauftragt, um nach weiteren Inkonsistenzen zu suchen.
3. Filter (Constrained Filter): Um die Anzahl der extrahierten Sätze zu kontrollieren und False Positives zu reduzieren, wird ein zusätzlicher LLM-Aufruf (Filter) eingeführt. Dieser analysiert die gesammelte Beweissammlung und gibt nur Sätze zurück, die er als tatsächlich inkonsistent bestätigt.
   • Constrained Filter: Erzwingt die Ausgabe von mindestens einem Satz, um die ursprüngliche Klassifizierung „Ja" nicht zu widerrufen.
   • Unconstrained Filter: Kann auch eine leere Liste zurückgeben (was die Klassifizierung auf „Nein" ändern würde).
   • Die Studie zeigt, dass der Constrained Filter (RnR+CF) den besten Kompromiss zwischen Genauigkeit und Anzahl der extrahierten Sätze bietet.

3. Schlüsselbeiträge

1. Neue Metriken: Einführung eines umfassenden Metrik-Sets (Precision, Recall, Hit) speziell für die Beweisauswahl, das über reine Klassifizierungsmetriken hinausgeht.
2. RnR+CF Framework: Entwicklung und Validierung eines neuen Frameworks, das durch iteratives Löschen extrahierter Beweise und einen restriktiven Filter die Extraktionsleistung signifikant verbessert.
3. Neuer Datensatz (ContraDocPaired): Da existierende Datensätze (wie ContraDoc) nur Dokumente mit genau einem Widerspruchssatz enthalten, erstellten die Autoren einen halb-synthetischen Datensatz ContraDocPaired. Dieser kombiniert Paare positiver Dokumente, um Datensätze mit genau zwei Beweissätzen pro Dokument zu erzeugen. Dies ermöglicht es, die Unterscheidung zwischen strikten Hit-Raten und Recall-Metriken empirisch zu testen.
4. Open Source: Bereitstellung des neuen Datensatzes und der Evaluierungsmetriken für die Community.

4. Ergebnisse

Die Experimente wurden mit zwei LLMs durchgeführt: GPT-4o (stark) und LLaMA3.2-90B (schwächer), auf den Datensätzen ContraDoc und ContraDocPaired.

• Klassifizierung: Es gab keinen klaren Gewinner bei der reinen Klassifizierung (Ja/Nein) zwischen den Methoden (Direct Prompting, Self-Consistency, Self-Criticism, RnR).
• Beweisextraktion: Der RnR+CF-Ansatz (Redact-and-Retry mit Constrained Filter) war in allen Metriken (EHR, EPR, ERR) für beide Modelle und beide Datensätze überlegen.
  • Er erreichte die höchsten Werte in den Radar-Diagrammen für Extraktionsmetriken.
  • Er extrahierte deutlich weniger Sätze als das reine Redact-and-Retry (ohne Filter), was die Effizienz und Präzision unterstreicht.
  • Im Vergleich zu Self-Consistency und Self-Criticism zeigte RnR+CF eine überlegene Balance zwischen Genauigkeit und der Anzahl der extrahierten Sätze.
• Temperatur-Einfluss: Bei Self-Consistency führte eine höhere Temperatur (1.0 vs. 0.5) zu mehr extrahierten Sätzen, ohne die Klassifizierungsleistung zu verbessern, was eine niedrigere Temperatur bevorzugt.
• Skalierbarkeit: Die Anzahl der benötigten Wiederholungen (Retries) blieb auch bei verdoppelter Beweissatzgröße (ContraDocPaired) stabil und gering (Median < 3), was auf gute Skalierbarkeit hindeutet.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zur Anwendung von LLMs in der Dokumentenanalyse, insbesondere im Finanzsektor (Autoren von American Express), wo die Nachvollziehbarkeit von Entscheidungen kritisch ist.

• Praktische Relevanz: Durch die Fokussierung auf die Qualität der Beweise und nicht nur auf die Klassifizierung wird das Vertrauen in KI-Systeme erhöht. Nutzer können die Quelle eines Widerspruchs direkt überprüfen.
• Methodischer Fortschritt: Der „Redact-and-Retry"-Ansatz demonstriert, wie durch geschickte Reduktion des Suchraums (Löschen bereits gefundener Sätze) die Fähigkeiten von LLMs zur Entdeckung komplexer, verteilter Inkonsistenzen gesteigert werden können.
• Zukünftige Forschung: Die Einführung von Metriken für die Beweisauswahl und der neue Datensatz mit mehreren Beweisen pro Dokument legen den Grundstein für zukünftige Arbeiten, die sich mit der Größe der Beweismenge und der Dokumentenlänge befassen.

Zusammenfassend zeigt das Paper, dass durch spezialisierte Frameworks und eine sorgfältigere Evaluation (neue Metriken) LLMs deutlich besser darin werden können, nicht nur zu erkennen, dass ein Dokument inkonsistent ist, sondern auch wo und warum.