💬 NLP

ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs

Dieses Paper führt Argument Representation Coverage (ARC) ein, ein Bottom-up-Evaluierungsframework, das aufzeigt, wie instruktionsfolgende große Sprachmodelle bei der Zero-Shot-Zusammenfassung langer Dokumente häufig kritische Argumente auslassen, insbesondere in hochsensiblen Bereichen wie Recht und Wissenschaft, während es gleichzeitig systematische Verzerrungen im Zusammenhang mit Kontextfenstern und Argumentrollen identifiziert.

Ursprüngliche Autoren: Mohamed Elaraby, Diane Litman

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohamed Elaraby, Diane Litman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Richter, der einen sehr klugen, aber leicht abgelenkten Assistenten bittet, eine riesige, 50-seitige Gerichtsakte zu lesen und eine einseitige Zusammenfassung zu schreiben. Sie wollen, dass die Zusammenfassung perfekt ist: Sie muss die Hauptargumente, die Gründe für die Entscheidung und das endgültige Urteil erfassen, ohne Fakten zu erfinden oder entscheidende Details wegzulassen.

Dieses Paper stellt ein neues Werkzeug namens ARC (Argument Representation and Coverage) vor, um zu überprüfen, wie gut diese KI-Assistenten diese Aufgabe erfüllen.

Hier ist eine Aufschlüsselung der Ergebnisse des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Der „Heuhaufen“ und die „fehlende Nadel“

In hochsensiblen Bereichen wie dem Recht oder der Wissenschaft sind Dokumente lang und komplex. Die wichtigsten Informationen (die „wesentlichen Argumente“) sind oft spärlich über den gesamten Text verstreut, wie ein paar Nadeln, die in einem riesigen Heuhaufen versteckt sind.

Die Forscher fanden heraus, dass KI-Modelle (LLMs) zwar großartig darin sind, flüssige, gut klingende Zusammenfassungen zu schreiben, sie aber oft die Nadeln übersehen. Sie schreiben vielleicht einen wunderschönen Absatz, der richtig klingt, aber die entscheidende rechtliche Begründung oder die spezifischen wissenschaftlichen Beweise weglässt, die man benötigt, um das Dokument zu verstehen.

2. Die Lösung: ARC (Der „Argument-Detektiv“)

Bestehende Werkzeuge zur Überprüfung von Zusammenfassungen sind wie eine Rechtschreibprüfung; sie suchen nach passenden Wörtern oder allgemeinen Satzstrukturen. Sie verstehen jedoch nicht wirklich die Bedeutung.

ARC ist anders. Es agiert wie ein Detektiv, der ein komplexes Argument in seine kleinsten, atomaren Teile (wie einzelne Fakten) zerlegt.

Schritt 1: Es nimmt ein Schlüsselargument (z. B. „Der Richter entschied, dass der Durchsuchungsbeschluss gültig war, weil die Polizei begründete Gründe hatte“) und zerlegt es in winzige Fakten: „Ein Beschluss wurde ausgestellt“, „Die Polizei hatte Gründe“, „Der Richter entschied, dass er gültig ist“.
Schritt 2: Es überprüft die KI-Zusammenfassung, um zu sehen, ob diese winzigen Fakten vorhanden sind.
Schritt 3: Es kategorisiert Fehler. Hat die KI einen Fakt ausgelassen (weggelassen)? Oder hat sie halluziniert (einen Fakt erfunden, der nicht da war)?

Dies liefert eine Punktzahl, die Ihnen nicht nur sagt, wie gut die Zusammenfassung ist, sondern auch exakt, was fehlt.

3. Die Erkenntnisse: Was die KI falsch gemacht hat

Die Forscher testeten acht verschiedene KI-Modelle an juristischen Stellungnahmen und wissenschaftlichen Artikeln. Hier ist, was sie entdeckten:

Das „Mittelfeld-Syndrom“ (Positionsbias):
Stellen Sie sich vor, Sie lesen ein langes Buch. Den Anfang und das Ende erinnern Sie sich sehr gut, aber die Mitte wird verschwommen. Das Paper fand heraus, dass KI-Modelle genau dasselbe Problem haben. Sie sind gegenüber dem Anfang und dem Ende eines Dokuments voreingenommen. Wenn ein entscheidendes rechtliches Argument mitten in einer 50-seitigen Akte vergraben ist, wird die KI es wahrscheinlich komplett überspringen.
Die „Schlussfolgerungs-Obsession“ (Rollenvoreingenommenheit):
Die KI-Modelle haben eine bevorzugte Art von Information, die sie einbauen: Schlussfolgerungen (Conclusions). Sie lieben es zu sagen: „Das Gericht entschied X.“ Sie sind jedoch viel schlechter darin, die Fragen (Issues) (die gestellten Fragen) und die Gründe (Reasons) (die Logik, die dorthin führt) einzubeziehen. Es ist wie ein Schüler, der das Endergebnis bei einer Mathearbeit schreibt, aber vergisst, seinen Rechenweg aufzuzeigen.
Fehlen vs. Erfinden:
Das größte Problem war nicht, dass die KI gelogen hat (halluziniert); es war, dass sie vergessen hat. Der häufigste Fehler war schlicht das Auslassen wichtiger Fakten, nicht das Erfinden neuer Fakten.
Größer ist nicht immer besser:
Obwohl größere KI-Modelle im Allgemeinen besser abschnitten als kleinere, hatten selbst die größten, klügsten Modelle immer noch Schwierigkeiten, alle wichtigen Argumente zu finden und beizubehalten, insbesondere bei juristischen Texten, in denen die wichtigen Bestandteile sehr spärlich gesät sind.

4. Warum das wichtig ist

Das Paper argumentiert, dass wir der KI nicht einfach vertrauen können, wenn es um die Zusammenfassung wichtiger Dokumente geht. Wenn Sie eine KI nutzen, um einen Rechtsfall oder einen wissenschaftlichen Artikel zusammenzufassen, liefert sie Ihnen vielleicht eine flüssige Zusammenfassung, die perfekt klingt, aber tatsächlich unvollständig ist.

ARC bietet eine Möglichkeit, diese „Unvollständigkeit“ klar zu messen. Es zeigt uns, dass wir die KI, um sie für ernsthafte Aufgaben zuverlässig zu machen, lehren müssen, aufzuhören, die Mitte des Dokuments zu überspringen, und denselben Fokus auf die Gründe und Fragen zu legen wie auf die bloßen Schlussfolgerungen.

Kurz gesagt: Das Paper hat ein neues Lineal (ARC) gebaut, um zu messen, wie gut KI lange Dokumente zusammenfasst. Es stellte fest, dass aktuelle KIs gut im Schreiben sind, aber schlecht darin, die wichtigsten, verstreuten Informationsteile zu finden – sie ignorieren oft die Mitte des Textes und das „Warum“ hinter den Entscheidungen.

Technisches Resümee: Argument Representation and Coverage (ARC)

Problemstellung

Obwohl Large Language Models (LLMs) eine hohe Eloquenz bei der abstraktiven Zusammenfassung erreicht haben, wird ihre Zuverlässigkeit in hochsensiblen Bereichen (wie dem Rechtswesen oder der Wissenschaft) durch häufige Halluzinationen und das Auslassen wesentlicher Inhalte beeinträchtigt. Bestehende Metriken scheitern oft daran, zwischen Fluenz und faktischer Vollständigkeit zu unterscheiden, insbesondere bei der Zusammenfassung langer Dokumente, in denen kritische Argumente spärlich verteilt sind. Aktuelle Methoden haben Schwierigkeiten, interpretierbare Diagnosen darüber bereitzustellen, welche spezifischen Informationen fehlen oder falsch dargestellt werden und ob LLMs explizite Aufsicht benötigen, um saliente Argumentationsstrukturen zu bewahren.

Methodik: Das ARC-Framework

Die Autoren führen Argument Representation Coverage (ARC) ein, ein bottom-up orientiertes Evaluierungs-Framework, das darauf ausgelegt ist, zu bewerten, wie gut Zusammenfassungen saliente Argumente bewahren. ARC operiert hierarchisch über drei Granularitätsebenen:

Dekomposition zu atomaren Fakten:
- Saliente Argumentrollen (z. B. Issues, Reasons, Conclusions in Rechtstexten; Own Claims, Background Claims, Data in wissenschaftlichen Texten) werden mithilfe eines starken LLMs (GPT-4o) in Sätze von atomaren Fakten ( $F_r$ ) zerlegt.
- Ein Entailment-Check filtert übergenerierte Fakten heraus, um sicherzustellen, dass diese strikt aus dem ursprünglichen Argument abgeleitet sind.
Faktenbasierte Evaluierung ( $\delta$ ):
- Jeder atomare Fakt wird mithilfe eines LLM-Judges mit der generierten Zusammenfassung verglichen.
- Der Judge weist einen binären Status zu (unterstützt oder nicht unterstützt) und kategorisiert den Fehlertyp: Missing (Auslassung) oder Non-factual (Widerspruch/Fehlinterpretation). Diese Trennung ermöglicht die Diagnose, ob Fehler auf mangelhafte Inhaltsselektion oder auf Generierungsungenauigkeiten zurückzuführen sind.
Hierarchische Aggregation:
- $ARC_{role}$ : Der Coverage-Score für eine spezifische Argumentrolle ist der Durchschnitt der Coverage seiner atomaren Fakten.
- $ARC_{score}$ : Der Gesamtwert der Zusammenfassung ist der Durchschnitt aller Rollen-Scores, was ein ganzheitliches Maß für die Bewahrung von Argumenten liefert.

Datensätze und Modelle:
Das Framework wird auf zwei Domänen angewendet:

CANLII: 1.049 lange juristische Gutachten, bei denen Argumentrollen (Issue, Reason, Conclusion) nur etwa 7,66 % des Eingangstextes, aber ~66 % der Referenzzusammenfassung ausmachen, was eine „Nadel im Heuhaufen“-Hera{ $ssem}$ stellung erzeugt.
DRI (DR. INVENTOR): 40 wissenschaftliche Artikel mit dichtem argumentativen Inhalt (74,14 %).

Acht Open-Weight Instruction-Following LLMs (mit einer Spanne von 1B bis 14B Parametern, einschließlich der LLaMA-, Mistral- und Qwen-Familien) wurden auf diesen Datensätzen evaluiert.

Kernergebnisse

1. Coverage-Limitierungen und Fehlertypen

Unvollständige Abdeckung: Selbst die leistungsfähigsten Modelle erreichen keine perfekte Argument-Abdeckung. In juristischen Domänen (CANLII) stagnieren die besten Modelle bei einem $ARC_{score}$ von etwa 0,72, was signifikant unter dem menschlichen Referenzwert (0,98) liegt.
Omission vs. Halluzination: Die Analyse auf Faktsebene zeigt, dass fehlende Fakten (Missing Facts) die dominierende Fehlerquelle über alle Modelle und Domänen hinweg sind und faktische Fehler (Halluzinationen) weit übertreffen. Dies deutet darauf hin, dass die primäre Herausforderung darin besteht, spärliche saliente Inhalte zu extrahieren und zu priorisieren, statt falsche Fakten zu generieren.
Modell-Skalierung: Größere Modelle erreichen im Allgemeinen eine höhere Abdeckung, aber die Lücke zwischen Modellleistung und menschlichen Referenzen bleibt substanziell, insbesondere bei juristischen Texten.

2. Positionale Verzerrung (RQ2)

U-förmige Verzerrung: Konsistent mit vorangegangenen Arbeiten zeigen Modelle eine U-förmige Positionierungsverzerrung (Positional Bias), wobei sie Inhalte am Anfang und am Ende des Kontextfensters bevorzugen.
Auswirkung auf juristische Zusammenfassungen: In CANLII, wo Referenzzusammenfassungen keinen festen positionalen Trends folgen, korreliert diese Verzerrung negativ mit der Abdeckung ( $ARC_{score}$ ). Argumente, die sich in der Mitte langer juristischer Gutachten befinden, werden systematisch unterrepräsentiert.
Wissenschaftliche Dokumente: In DRI ist die Korrelation schwächer, da die Referenzzusammenfassungen enger mit den natürlichen positionalen Biases der LLMs übereinstimmen.

3. Rollenspezifische Verzerrung (RQ3)

Systematische Präferenzen: LLMs zeigen systematische Vorlieben für bestimmte Argumentrollen.
- Juristisch (CANLII): Modelle bevorzugen unverhältnismäßig oft Conclusions gegenüber Issues und Reasons. Der Bias-Score ( $\beta$ ) ist für Conclusions konsistent am niedrigsten, was bedeutet, dass diese besser bewahrt werden.
- Wissenschaftlich (DRI): Background Claims werden tendenziell weniger effektiv abgedeckt als Own Claims, selbst wenn man die Argumentlänge kontrolliert.
Effekt der Modellgröße: Kleinere Modelle (<3B Parameter) weisen höhere Bias-Scores auf, was auf eine weniger ausgewogene Abdeckung über verschiedene Argumentrollen hinweg hindeutet.

4. Validierung der Metrik

Korrelation mit Experten: $ARC_{score}$ erreicht im Vergleich zu Standardmetriken (ROUGE, BERTScore) und dekompositionsbasierten Baselines wie FactScore die höchste Korrelation mit menschlichen Expertenurteilen (Kendall's $\tau$ = 0,465, Pearson's $\rho$ = 0,593).
Interpretierbarkeit: Im Gegensatz zu FactScore, das lediglich die Abdeckung auf Faktsebene liefert, bietet ARC eine Multi-Level-Analyse (Rollen-Ebene und Differenzierung der Fehlertypen), was es zu einem überlegenen Diagnosewerkzeug macht.
Robustheit des Judges: Das Framework funktioniert gut mit Open-Weight-Judges (z. B. DeepSeek-R1-Distill-Qwen-14B), die in einigen Settings sogar höhere Korrelationen als proprietäre GPT-4o-Modelle erzielten.

Bedeutung und Ansprüche

Das Paper behauptet, dass ARC ein prinzipielles und interpretierbares Diagnosewerkzeug zur Evaluierung der strukturierten Argument-Abdeckung in der Long-Context-Zusammenfassung bietet. Die Hauptbeiträge sind:

Granulare Diagnostik: Durch die Unterscheidung zwischen Auslassungen und faktischen Fehlern sowie durch die Analyse der Abdeckung auf Rollenebene offenbart ARC nicht nur, dass Zusammenfassungen scheitern, sondern auch warum sie scheitern (z. B. durch das Ignorieren von Argumenten in der Mitte oder spezifischer Rollentypen).
Nachweis systematischer Verzerrungen: Die Studie zeigt auf, dass aktuelle Instruction-Following LLMs inhärente Biases gegenüber bestimmten Argumentrollen (Bevorzugung von Conclusions) und Dokumentenpositionen (Bevorzugung der Enden) besitzen, was ihre Zuverlässigkeit in hochsensiblen Bereichen einschränkt, in denen eine umfassende Argumentation erforderlich ist.
Notwendigkeit der Alignment: Die Ergebnisse unterstreichen, dass reine Fluenz nicht ausreicht. Die anhaltende Lücke zwischen Modellleistung und menschlichen Referenzen, insbesondere in spärlichen juristischen Kontexten, deutet auf die Notwendigkeit weiterer Alignment-Strategien hin (z. B. explizite Argumentstruktur im Training oder Prompting), um die Salienz-Abdeckung zu verbessern.

Die Autoren kommen zu dem Schluss, dass ARC zwar die Evaluierung der Abdeckung verbessert, jedoch derzeit den Recall (Erfassung salienter Fakten) gegenüber der Precision betont. Zukünftige Arbeit sollte darauf abzielen, beide Dimensionen gemeinsam zu bewerten und die Salienz-Detektion direkt in die Zusammenfassungs-Pipeline zu integrieren.