Can LLMs Interpret and Leverage Structured Linguistic Representations? A Case Study with AMRs

1. Probleemstelling

Hoewel Large Language Models (LLM's) succes hebben behaald in diverse NLP-taken, blijft een kritieke uitdaging bestaan: hun vermogen om gestructureerde semantische representaties (zoals Abstract Meaning Representations of AMR's) te interpreteren en te benutten, die taal coderen in beknopte, abstracte vormen.

• De Kloof: Eerdere research richtte zich voornamelijk op het aanpassen van neurale architecturen (bijvoorbeeld door graf-attentie-mechanismen toe te voegen) om deze structuren te verwerken. Er ontbreekt een systematische evaluatie van de vraag of kant-en-klare, instructie-gefineerde LLM's lineaire AMR's inherent kunnen interpreteren om de prestaties op downstream-taken te verbeteren.
• De Vraag: Kunnen LLM's AMR's effectief benutten in prompts om redeneren en begrip te verbeteren, met name in scenario's met lange context, of verslechtert de structurele abstractie de prestaties?

2. Methodologie

De studie hanteert een systematische evaluatiepijplijn met 8-bit gekwantiseerde, instructie-gefineerde versies van drie prominente LLM's: Llama 3.1 (8B), Phi-3 en Mistral 7B.

Data en Voorverwerking

• AMR-extractie: Tekst uit diverse datasets werd omgezet in Abstract Meaning Representation (AMR)-structuren (gewortelde, gerichte grafen die semantische betekenis vastleggen) met behulp van de AMR3-structbart-L en doc-sen-conll-amr-seed42 modellen via de op transities gebaseerde neurale parser van IBM.
• Linearisatie: De op grafen gebaseerde AMR's werden omgezet in gelineariseerde (geflattende) tekststrings om als invoer voor de LLM's te dienen.
• Datasets:
  • LDC2020T02: Zinsniveau-AMR's voor tekstregeneratie.
  • SQuAD 2.0 & HotpotQA: Voor single-hop en 2-hop Vraag-Antwoord (QA).
  • SAMSum: Voor dialoogsamenvatting (lange context).
  • SNLI & DocNLI: Voor Natural Language Inference (NLI).

Experimentele Opstelling

De auteurs evalueerden drie prompt-strategieën in zero-shot, 3-shot en 5-shot settings:

1. Alleen Context: Standaard prompting met originele tekst.
2. AMR-Verrijkt: Originele tekst + Lineariseerde AMR in de prompt.
3. Alleen AMR: Alleen lineariseerde AMR (geen originele tekst), waarbij het vermogen van het model om betekenis direct uit de structuur af te leiden wordt getest.

Evaluatiemetrics

• Generatie/Samenvatting: ROUGE-1/2/L, BLEU en Cosine Similariteit (met all-MiniLM-L6-V2 embeddings).
• QA: F1-score.
• NLI: Macro F1-score.

3. Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste uitgebreide studie die het vermogen van moderne, instructie-gefineerde LLM's evalueert om direct gelineariseerde AMR's te benutten zonder architecturale aanpassingen.
2. Contextlengte-dichotomie: De ontdekking dat de integratie van AMR's divergerende effecten heeft afhankelijk van de contextlengte: het verslechtert over het algemeen de prestaties in taken met korte context, maar verbetert de prestaties in taken met lange context.
3. AMR-reconstructievermogen: Demonstratie dat LLM's originele tekst effectief kunnen reconstrueren uit gelineariseerde AMR's, met hoge semantische gelijkenis (tot 81% cosine similarity).
4. Observaties bij Modelscaling: De voordelen van AMR-verrijking zijn duidelijker bij grotere, nieuwere modellen (bijvoorbeeld Llama 3.1) in vergelijking met kleinere of oudere modellen.

4. Belangrijkste Resultaten

A. Taken met Korte Context (Verslechtering)

• Single-Hop QA (SQuAD 2.0): Het toevoegen van AMR's aan de prompt verminderde de prestaties. Voor Llama 3.1 daalde de F1-score van 59% (alleen context) naar 52% (AMR-verrijkt) in 3-shot settings.
• NLI (SNLI): Hoewel Phi-3 enkele zero-shot winsten toonde met AMR's, bleek het toevoegen van few-shot voorbeelden te gunstig voor prompting met alleen context.
• HotpotQA (2-Hop): Ondanks dat het een dataset met lange context is, waren de individuele documenten klein. Het stapelen van meerdere kleine AMR's verbeterde de prestaties niet ten opzichte van prompting met alleen context, wat suggereert dat AMR's minder effectief zijn wanneer de context is gefragmenteerd in kleine eenheden.

B. Taken met Lange Context (Verbetering)

• Dialoogsamenvatting (SAMSum): Dit was het meest significante succesverhaal.
  • Llama 3.1: De zero-shot cosine similarity verbeterde van 66% (alleen context) naar 76% (AMR-verrijkt).
  • Mechanisme: AMR's hielpen het model om belangrijke informatie vast te houden en langetermijnafhankelijkheden in lange dialogen te begrijpen, wat ruwe tekst vaak verdoezelt door tokenlimieten of ruis.
  • Modelafhankelijkheid: Deze verbetering was specifiek voor de grotere, nieuwere Llama 3.1; Phi-3 en Mistral toonden geen vergelijkbare winst.

C. AMR-reconstructie (AMR-naar-tekst)

• LLM's toonden een sterk vermogen om originele tekst te regenereren uit gelineariseerde AMR's.
• Llama 3.1 behaalde een 81% cosine similarity met 5-shot prompting, wat aangeeft dat de modellen de semantische structuur van AMR's effectief kunnen "lezen" en interpreteren.

D. Fine-tuning versus Prompting

• Een Rank-32 LoRA fine-tuning-experiment op Llama 3.1 voor SAMSum-samenvatting leverde resultaten op (75-76%) die vergelijkbaar waren met few-shot prompting, maar de prestaties van de few-shot AMR-verrijkte aanpak niet overtroffen. Dit suggereert dat voor deze taken prompt engineering met AMR's momenteel effectiever is dan lichtgewicht fine-tuning.

5. Betekenis en Implicaties

• Strategisch Gebruik van Gestructureerde Data: Het paper stelt vast dat gestructureerde representaties zoals AMR's geen universele "plug-and-play"-oplossing zijn. Ze zijn zeer effectief voor begrip van lange context (samenvatting, complexe redenering) waar semantische abstractie helpt ruis te filteren en kerngebeurtenissen te benadrukken, maar ze introduceren ruis of complexiteit in taken met korte context waar de ruwe tekst al beknopt is.
• Model-evolutie: De resultaten suggereren dat nieuwere, grotere LLM's een latente capaciteit bezitten om complexe semantische structuren te interpreteren, een capaciteit die schaalt met modelgrootte en de recentie van training.
• Toekomstige Richtingen: Het werk opent wegen voor het integreren van andere gestructureerde representaties (bijvoorbeeld Kennisgrafieken, Discourse Representation Structures) in LLM-pijplijnen, met name voor retrieval-augmented generation (RAG) en analyse van lange documenten, zonder dat aangepaste neurale architecturen nodig zijn.

Conclusie

De studie concludeert dat hoewel LLM's gelineariseerde AMR's kunnen interpreteren, hun nut taalaanbestedend is. AMR-verrijking is een krachtig hulpmiddel voor het verbeteren van taken met lange context, zoals dialoogsamenvatting, en verbetert de prestaties aanzienlijk in state-of-the-art modellen, maar het moet worden vermeden voor taken met korte context waar het de prestaties kan verslechteren.