Mapping the Course for Prompt-based Structured Prediction

Titel: Mapping the Course for Prompt-based Structured Prediction

Autoren: Matt Pauk und Maria Leonor Pacheco (University of Colorado Boulder)

---

1. Problemstellung

Große Sprachmodelle (LLMs) haben sich zwar als äußerst leistungsfähig für eine Vielzahl von NLP-Aufgaben erwiesen, insbesondere durch Prompting ohne spezifisches Fine-Tuning, doch sie leiden unter erheblichen Einschränkungen bei strukturierten Vorhersageaufgaben (Structured Prediction).

• Herausforderungen: LLMs neigen zu Halluzinationen und Inkonsistenzen, da sie rein autoregressiv generieren. Bei Aufgaben, bei denen mehrere miteinander verknüpfte Komponenten vorhergesagt werden müssen (z. B. Diskursstrukturierung, Coreferenzauflösung), fehlt es ihnen oft an der Fähigkeit, globale strukturelle Konsistenz sicherzustellen.
• Limitierung bestehender Ansätze: Bisherige Methoden behandeln entweder jede Komponente als unabhängige Prompting-Aufgabe (was zu inkonsistenten Ergebnissen führt) oder versuchen, die gesamte Struktur auf einmal zu generieren. Beide Ansätze können keine strikten strukturellen Constraints (z. B. Transitivität bei Coreferenz) erzwingen.
• Das Kernproblem: Wie lassen sich die Vorhersagekraft von LLMs mit der strukturellen Konsistenz symbolischer Inferenzmethoden kombinieren? Insbesondere: Wie können aus Prompting-Antworten verlässliche Konfidenzwerte (Scores) abgeleitet werden, die als Eingabe für kombinatorische Inferenzalgorithmen dienen?

2. Methodik

Die Autoren schlagen einen Rahmen vor, der Few-Shot-Prompting mit kombinatorischer Inferenz (Combinatorial Inference) verbindet, um strukturelle Konsistenz zu erzwingen.

A. Framework: LLM-basierte Faktorgraphen

Das Problem wird als Faktorgraph $\Psi$ modelliert. Jeder Knoten (Entscheidung $\psi_i$) wird durch ein LLM bewertet. Das Ziel ist es, die optimale Struktur $y$ durch Maximum-A-Posteriori (MAP) Inferenz zu finden:
$$\text{arg max}_{y \in Y} \sum_{\psi_i \in \Psi} \rho(x_i, y_i; \theta)$$
unter Einhaltung struktureller Constraints $C$. Zur Berechnung wird Integer Linear Programming (ILP) verwendet, was maximale Flexibilität bei der Formulierung von Constraints (z. B. „Wenn A und B coreferent sind, dann müssen B und C es auch sein") bietet.

B. Strategien zur Konfidenzschätzung (Scoring)

Da LLMs keine nativen Wahrscheinlichkeiten für Klassifikationsaufgaben liefern (insbesondere bei Black-Box-Modellen), untersuchen die Autoren verschiedene Strategien zur Extraktion von Scores:

1. White-Box-Methoden (Zugriff auf Token-Wahrscheinlichkeiten):
   • True/False: Das Prompt wird als Ja/Nein-Frage formuliert. Die Wahrscheinlichkeit des Tokens „True" dient als Score.
   • Multiple Choice: Das Problem wird als Multiple-Choice-Frage formuliert; die Wahrscheinlichkeit des korrekten Antwort-Tokens wird genutzt.
   • Generative Classification: Das Label wird als Input gegeben, und die Wahrscheinlichkeit, dass das Modell den Text generiert, wird berechnet (umgekehrte Richtung).
2. Black-Box-Methoden (Nur Textgenerierung):
   • Generation Sampling: Das Modell wird $n$-mal promptet; der Score ist die Häufigkeit, mit der ein bestimmtes Label generiert wird.
   • Verbalized Confidence: Das Modell wird aufgefordert, seine eigene Konfidenz auf einer Skala von 0–100 verbal zu schätzen.

C. Lernstrategien (Fine-Tuning & Kalibrierung)

Um die Leistung weiter zu steigern, werden zwei Lernansätze untersucht:

• Kalibrierung (Calibration): Ein logistischer Regressionslayer wird auf die LLM-Scores aufgesetzt.
  • Lokal: Jeder Subtask wird separat kalibriert.
  • Global: Alle Modelle werden gemeinsam unter Verwendung eines Structured Hinge Loss trainiert, der die globale Inferenz berücksichtigt.
• Fine-Tuning:
  • Lokal: Das LLM wird für einzelne Subtasks (Next-Token-Prediction) feinabgestimmt.
  • Global: Das LLM wird direkt mit dem globalen Structured Hinge Loss (Backpropagation durch die Inferenzschicht) feinabgestimmt.

3. Experimente und Ergebnisse

Die Methoden wurden auf zwei komplexen Diskurs-Ebenen-Aufgaben evaluiert:

1. Morality Framing: Identifikation moralischer Grundlagen und Rollen in Tweets des US-Kongresses.
2. Coreference Resolution: Zuordnung von Entity-Mentions in Texten (GENIA und OntoNotes Datensätze).

Wichtige Ergebnisse:

• Inferenz verbessert die Leistung: Unabhängig von der gewählten Konfidenz-Schätzstrategie führt die Anwendung symbolischer Inferenz (Constraints) zu konsistent besseren Ergebnissen und eliminiert strukturelle Verletzungen (Constraint Violations) vollständig.
• Beste Prompting-Strategie: Die Formulierung als True/False-Frage liefert die besten Konfidenzwerte und damit die besten Ergebnisse, gefolgt von Multiple Choice. Black-Box-Methoden wie „Verbalized Confidence" schneiden schlechter ab.
• Lernstrategien:
  • Global Fine-Tuning (Training mit dem globalen strukturellen Ziel) erzielt die besten Ergebnisse und übertrifft den State-of-the-Art (SOTA) auf dem Morality-Framing-Datensatz.
  • Global Calibration (Kalibrierung mit globalem Loss) ist besonders effektiv bei vortrainierten Modellen.
  • Die Kombination aus lokalem Fine-Tuning und globaler Kalibrierung/Fine-Tuning führt zu den höchsten F1-Scores.
• Skalierbarkeit: Auch bei kleineren Modellen (Llama-8B, Mistral-7B) bringt die Inferenz signifikante Verbesserungen. Interessanterweise performten größere Modelle (Llama-70B) bei reinen True/False-Aufgaben manchmal schlechter als kleinere, was darauf hindeutet, dass zusätzliche Parameter eher für komplexe Instruktionen als für fokussierte Klassifikation genutzt werden.
• Recheneffizienz: Die symbolische Inferenz fügt nur eine vernachlässigbare Zeitverzögerung hinzu (ca. 0,11s bis 3s), während Black-Box-Methoden wie „Verbalized Confidence" extrem rechenintensiv sind.

4. Schlüsselerkenntnisse und Beiträge

1. Validität von Hybrid-Ansätzen: Die Arbeit demonstriert, dass die Kombination von LLMs mit traditioneller symbolischer Inferenz (ILP) ein überlegener Ansatz für strukturierte Vorhersagen ist, da sie die Flexibilität von LLMs mit der mathematischen Garantie struktureller Konsistenz verbindet.
2. Konfidenzschätzung: Die Art und Weise, wie Konfidenzwerte aus LLMs extrahiert werden, ist kritisch. True/False-Prompts sind effizient und effektiv.
3. Wert des strukturierten Lernens: Selbst im Zeitalter von LLMs bleibt strukturiertes Lernen (durch Fine-Tuning auf globale Ziele) entscheidend für die Maximierung der Leistung bei komplexen, abhängigen Aufgaben.
4. Reproduzierbarkeit: Der Code und alle Experimente sind öffentlich verfügbar, was einen wichtigen Beitrag zur Community leistet.

5. Signifikanz

Dieses Paper liefert einen klaren „Fahrplan" (Roadmap) für die Anwendung von LLMs in Szenarien, die strenge strukturelle Anforderungen stellen. Es widerlegt die Annahme, dass reines Prompting oder reines Fine-Tuning ausreicht, und zeigt, dass ein hybrides System aus probabilistischer Vorhersage (LLM) und deterministischer Optimierung (Inferenz) notwendig ist, um sowohl Genauigkeit als auch logische Konsistenz zu erreichen. Dies ist besonders relevant für Anwendungen wie medizinische Textanalyse, juristische Dokumentenverarbeitung oder soziale Medien-Analyse, wo Fehler in den Beziehungen zwischen Entitäten schwerwiegende Folgen haben können.