Mapping the Course for Prompt-based Structured Prediction

Titel: Mapping the Course for Prompt-based Structured Prediction

Auteurs: Matt Pauk en Maria Leonor Pacheco (University of Colorado Boulder)

1. Het Probleem

Grote Taalmodellen (LLMs) hebben bewezen krachtig te zijn voor diverse taaltaken zonder taalspecifieke fine-tuning. Echter, bij gestructureerde voorspelling (structured prediction) – taken waarbij meerdere onderling afhankelijke componenten voorspeld moeten worden als onderdeel van een groter geheel (bijv. coreferentie-oplossing, morele framing) – vertonen LLMs beperkingen:

• Hallucinaties en inconsistenties: LLMs zijn vatbaar voor fouten en kunnen tegenstrijdige voorspellingen doen.
• Autoregressieve beperkingen: Omdat LLMs tokens sequentieel genereren, missen ze een mechanisme om strikt te garanderen dat de gegenereerde structuur geldig is volgens de domeinregels (bijv. transitiviteit in coreferentie).
• Vertrouwensscores: Traditionele gestructureerde inferentie-algoritmen hebben betrouwbare zekerheidsscores nodig voor substructuren. Het is echter onduidelijk hoe deze scores het beste uit prompt-based LLM-voorspellingen kunnen worden gehaald, aangezien LLMs geen expliciete conditionele verdelingen $P(Y|X)$ leren zoals klassieke classifiers.

2. Methodologie

De auteurs stellen een raamwerk voor dat de voorspellingskracht van LLMs combineert met combinatorische inferentie (symbolische inferentie) om structurele consistentie af te dwingen.

A. Algemeen Raamwerk

Het probleem wordt gemodelleerd als een factorgraf $\Psi$ waarbij elke beslissing $\psi_i$ wordt gescoord door een LLM. De optimale structuur $y$ wordt gevonden via Maximum A Posteriori (MAP) inferentie:
$$\text{arg max}_{y \in Y} \sum_{\psi_i \in \Psi} \rho(x_i, y_i; \theta)$$
onderworpen aan structurele constraints $C$. Voor de inferentie gebruiken de auteurs Integer Linear Programming (ILP), wat maximale flexibiliteit biedt om complexe constraints (zoals transitiviteit) af te dwingen.

B. Strategieën voor het Scoren van Substructuren (Vertrouwensschatters)

De auteurs testen exhaustief verschillende methoden om vertrouwensscores te extraheren uit LLM-antwoorden, onderverdeeld in "White-box" (toegang tot token-probabiliteiten) en "Black-box" (alleen tekstgeneratie):

1. White-box:
   • True/False: De taak wordt geformuleerd als een waar/onwaar-vraag. De kans op het token "True" wordt gebruikt als score.
   • Meerkeuze (Multiple Choice): De labels worden als opties gegeven; de kans op het corresponderende token wordt gebruikt.
   • Generative Classification: De label wordt als input gegeven en de LLM moet de tekst genereren. De waarschijnlijkheid van de tekst wordt gesommeerd en genormaliseerd.
2. Black-box:
   • Generatie Sampling: Het model wordt $n$ keer geprompt; de frequentie van een label wordt als score gebruikt.
   • Verbalized Confidence: Het model wordt gevraagd om expliciet een cijfer (0-100) voor zijn eigen zekerheid te geven.

C. Leerstrategieën (Fine-tuning)

Naast few-shot prompting onderzoeken de auteurs leermechanismen om LLMs beter af te stemmen op gestructureerde doelen:

• Few-Shot Score Calibration: Een logistische regressie-laag wordt getraind bovenop de LLM-scores (zonder de LLM zelf te finetunen). Dit kan lokaal (per subtaak) of globaal (met een gestructureerde hinge-loss die de inferentie over de hele structuur meeneemt) gebeuren.
• Local Fine-tuning: De LLM wordt standaard gefinetuned op individuele sub-taken (next-token prediction).
• Global Fine-tuning: De LLM wordt gefinetuned met de gestructureerde hinge-loss (teruggepropageerd via de inferentie), zodat het model direct leert om globale consistentie te maximaliseren.

3. Experimentele Opstelling

De methoden werden geëvalueerd op twee complexe discourse-niveau taken:

1. Morality Framing: Het identificeren van morele fundamenten en rollen in tweets van het Amerikaanse Congres (dataset: Roy et al., 2021). Constraints: De rol van een entiteit moet overeenkomen met het morele fundament; entiteiten in dezelfde tweet kunnen niet dezelfde rol hebben.
2. Coreference Resolution: Het bepalen of twee vermeldingen naar dezelfde entiteit verwijzen (datasets: GENIA en OntoNotes). Constraint: Transitiviteit (als A=B en B=C, dan moet A=C).

Gebruikte modellen: Llama-3.1-8B, Mistral-7B, Llama-70B en GPT-5.

4. Belangrijkste Resultaten

• Inferentie verbetert consistentie en nauwkeurigheid: Het toevoegen van symbolische inferentie (ILP) bovenop prompt-based voorspellingen leidt altijd tot betere prestaties en 0 constraint violations, ongeacht de strategie voor het extraheren van scores.
• Beste Score-strategie: Het formuleren van prompts als True/False-vragen presteert over het algemeen het beste voor het extraheren van vertrouwensscores, gevolgd door Meerkeuze. Black-box methoden zoals "Verbalized Confidence" presteerden minder goed en waren rekenkundig duurder.
• Fine-tuning en Calibratie:
  • Global Calibration (logistische regressie getraind op de globale structuur) presteert beter dan lokale calibratie, vooral bij voorgeprogrammeerde modellen.
  • Global Fine-tuning (backpropagatie van de gestructureerde loss naar de LLM) levert de beste resultaten op, zelfs beter dan state-of-the-art methoden die puur op diepe gestructureerde voorspelling vertrouwen zonder LLMs.
• Data-efficiëntie: Modellen die gebruikmaken van constraints convergeren sneller en bereiken hoge prestaties met minder trainingsdata (zekerheid bij slechts 20% van de data).
• Modelgrootte: Interessant genoeg presteerde het kleinere Llama-8B model soms beter dan het Llama-70B model bij specifieke prompt-strategieën (True/False/Multiple Choice), mogelijk omdat de grotere modellen meer gericht zijn op complexe instructies dan op gefocuste classificatie.

5. Bijdragen en Significantie

1. Validatie van Hybrid Approaches: Het artikel bewijst dat het combineren van LLMs met traditionele symbolische inferentie een krachtige strategie is om de zwakke punten van autoregressieve generatie (inconsistentie) te verhelpen.
2. Systematische Evaluatie van Confidence Estimation: Het biedt een uitgebreide vergelijking van methoden om LLM-vertrouwen te schatten voor gestructureerde taken, waarbij True/False-prompting als de meest effectieve wordt aanbevolen.
3. Gestructureerd Leren blijft relevant: De resultaten tonen aan dat fine-tuning met een globaal gestructureerd leerdoel (Global Fine-tuning) superieur is aan het fine-tunen van individuele componenten. Dit benadrukt dat gestructureerd leren ook in het tijdperk van LLMs essentieel blijft voor complexe taken.
4. Reproduceerbaarheid: Alle code en gedetailleerde prompt-templates zijn openbaar beschikbaar gesteld.

Conclusie:
De auteurs concluderen dat prompt-based structured prediction, wanneer gecombineerd met combinatorische inferentie en globale leerdoelen, aanzienlijk beter presteert dan prompten alleen of traditionele methoden zonder LLM-voordelen. Dit opent de weg voor robuustere NLP-systemen die zowel de wereldkennis van LLMs als de strikte logica van symbolische systemen benutten.