Structured Semantic Information Helps Retrieve Better Examples for In-Context Learning Applied to Few-Shot Relation Extraction

Technische Samenvatting: Gestructureerde Semantische Informatie Helpt Bij Het Ophalen van Betere Voorbeelden voor In-Context Learning Toegepast op Few-Shot Relation Extraction

Probleemdefinitie
Relation Extraction (RE) is een fundamentele NLP-taak die het identificeren van relaties tussen entiteitparen omvat (bijv. subject-object paren). Terwijl traditionele supervised RE honderden of duizenden trainingsvoorbeelden per relatie vereist, streeft Few-Shot Relation Extraction (FSRE) ernaar om deze taak uit te voeren met slechts een relatienaam, een korte beschrijving en een handvol voorbeelden (typisch 1-shot). Bestaande FSRE-benaderingen vertrouwen vaak op prototype-gebaseerde classificatie of embedding-gebaseerde nearest-neighbor methoden, die een gebrek aan flexibiliteit kunnen vertonen bij domein- of relatieshift. Hoewel In-Context Learning (ICL) met Large Language Models (LLMs) een veelbelovend alternatief biedt, blijft de optimale strategie voor het selecteren van aanvullende voorbeelden om het enkele "gouden" voorbeeld aan te vullen, onderbelicht. Specifiek is het onduidelijk hoe men de behoefte aan voorbeelden die semantisch vergelijkbaar zijn met het gouden voorbeeld moet balanceren met de behoefte aan diverse zinsstructuren en lexicale keuzes om overfitting op een enkel patroon te voorkomen.

Methodologie
Het artikel stelt een framework voor om automatisch een 1-shot RE-setting te transformeren naar een 5-shot of 10-shot setting door extra voorbeelden te genereren of op te halen. De aanpak evalueert drie primaire strategieën en een hybride combinatie:

1. LLM-gebaseerde Generatie:

   • Parafraseren: De gouden ondersteunende zin wordt geparafraseerd door een LLM, waarbij het onderwerp, object en de relatie behouden blijven.
   • Generatie: Nieuwe voorbeelden worden gegenereerd op basis van de relatienaam en de natuurlijke taaldefinitie, wat alternatieve lexicalisaties en zinsstructuren aanmoedigt.

2. Retrieval uit Ongelabelde Corpora:

   • De auteurs halen voorbeelden op uit een grote subset van de UMBC WebBase corpus (2,3M zinnen).
   • SBERT Baseline: Standaard zin-embeddings worden gebruikt om semantisch vergelijkbare zinnen te vinden.
   • Syntactisch-Semantische Regelrepresentaties (Nieuwigheid): In plaats van volledige zin-embeddings, extraheert de methode lexico-syntactische regels die de kortste afhankelijkheidspaden (dependency paths) tussen de subject- en object-entiteiten vertegenwoordigen. Deze regels coderen lexicale items, afhankelijkheidsrelaties, richting en benoemde entiteitstypen.
   • Semantische Matching: Een zelfgesuperviseerd model (SoftMatcher) leert de semantische representaties van deze regels. Retrieval wordt uitgevoerd op basis van de cosinus-gelijkenis tussen de regelrepresentatie van het gouden voorbeeld en de kandidaat-zinnen. Deze aanpak focust op de specifieke context die indicatief is voor de relatie, in plaats van algemene zinbetekenis.

3. Diversiteitsverbetering:

   • Om redundantie te voorkomen, worden kandidaat-voorbeelden geclusterd (met behulp van k-means of k-means++) op basis van hun semantische representaties.
   • Representatieve voorbeelden worden geselecteerd uit clusters om een mix te waarborgen van gelijkenis met het gouden voorbeeld en structurele diversiteit.

4. Hybride Strategie:

   • Het framework combineert voorbeelden uit zowel LLM-generatie als corpus-retrieval. Een prompt wordt gebruikt om een definitieve set aanvullende voorbeelden (4 of 9) te selecteren uit de gecombineerde pool, met als doel een balans te vinden tussen de hoge gelijkenis van LLM-gegenereerde voorbeelden en de realistische diversiteit van de opgehaalde voorbeelden.

5. Taakformulering:

   • De 5-way 1-shot taak wordt geherformuleerd als vijf onafhankelijke binaire classificatietaken (één per relatie) met behulp van ICL.
   • Een Named Entity Recognition (NER) filter wordt toegepast vooraf op ICL om kandidaat-relaties te verwijderen die incompatibel zijn met de entiteitstypen in de query-zin, wat de computationele kosten aanzienlijk vermindert.

Belangrijkste Bijdragen

• Nieuwe Retrieval Strategie: De introductie van het gebruik van gestructureerde syntactisch-semantische regelrepresentaties (in plaats van oppervlakkige zin-embeddings) om voorbeelden voor ICL in FSRE op te halen. Deze methode legt de kern van de relationele structuur tussen entiteiten vast.
• Diversiteitsmechanismen: Het voorstel van expliciete clustering en prompt engineering om ervoor te zorgen dat geselecteerde voorbeelden diverse woordkeuzes en zinsstructuren bieden terwijl de trouw aan de relatie behouden blijft.
• Hybride Framework: De demonstratie dat het combineren van LLM-gegenereerde voorbeelden (voor gelijkenis) en opgehaalde voorbeelden (voor diversiteit) een meer holistische representatie van de relatie oplevert dan elk van de methoden alleen.
• State-of-the-Art Prestaties: Het vestigen van nieuwe state-of-the-art resultaten op de FS-TACRED dataset, met name voor kleinere taalmodellen, zonder dat er extra fine-tuning of aanvullende gouden annotaties nodig zijn.

Resultaten
Het framework werd geëvalueerd op twee datasets (FS-TACRED en een aangepaste FS-FewRel subset) met behulp van vier LLMs (Qwen3-4B, Qwen3-14B, Gemma3-4B, en Gemma3-12B).

• Prestaties: De hybride aanpak presteerde consequent beter dan de baselines, inclusief 1-shot ICL, LLM-only generatie en SBERT-gebaseerde retrieval. Op FS-TACRED behaalde de hybride methode een F1-score van 27,6 met Qwen3-4B (waarmee het eerdere fine-tuned methoden zoals SoftRules overtrof die 24,8 behaalden) en 37,8 met Qwen3-14B.
• Effectiviteit van Semantische Regels: Voorbeelden die werden opgehaald met behulp van syntactisch-semantische regels leverden consequent betere resultaten op dan die via SBERT of geparafraseerd door LLMs. De regelgebaseerde voorbeelden bleken meer relationeel-trouw en diverser te zijn.
• Modelgevoeligheid: De voordelen van de retrieval-strategie waren het meest uitgesproken in kleinere modellen (4B parameters). Grotere modellen (12B) vertoonden inconsistente winsten, waarbij sommige strategieën zelfs de prestaties verslechterden ten opzichte van de 1-shot baseline, wat suggereert dat grotere modellen mogelijk al voldoende interne kennis bezitten of gevoelig zijn voor prompt-augmentatie.
• Efficiëntie: De hybride aanpak voegde een verwaarloosbare computationele overhead toe (ongeveer 0,5% toename in wall-clock tijd per episode) vergeleken met LLM-generatie alleen, aangezien de retrieval- en clusteringstappen vertrouwen op vooraf berekende embeddings en onafhankelijk zijn van de LLM-omvang.

Betekenis en Claims
Het artikel beweert dat gestructureerde semantische informatie cruciaal is voor effectieve voorbeeldselectie in In-Context Learning voor Few-Shot Relation Extraction. Door verder te gaan dan oppervlakkige gelijkenis (SBERT) of eenvoudige generatie, haalt de voorgestelde methode voorbeelden op die zowel realistisch (uit ongelabelde corpora) als structureel trouw aan de doelrelatie zijn.

De auteurs benadrukken dat hun aanpak:

1. Goed overdraagbaar is naar verschillende datasets en LLM-families zonder taakspecifieke fine-tuning.
2. SOTA bereikt op FS-TACRED, waarmee wordt aangetoond dat het toevoegen van echte, opgehaalde voorbeelden beter kan presteren dan toegewijde few-shot modellen die vertrouwen op fine-tuning van kleinere architecturen.
3. Gelijkenis en diversiteit balanceert, waarbij wordt aangetoond dat de optimale ICL-prestatie voortkomt uit een "middenweg" waar voorbeelden gelijkaardig genoeg zijn om de relatie te definiëren, maar divers genoeg om overfitting op een enkel syntactisch patroon te voorkomen.

Het werk benadrukt dat hoewel LLMs krachtig zijn, hun in-context learning capaciteiten voor RE aanzienlijk kunnen worden verbeterd door de selectie van voorbeelden te funderen in de onderliggende syntactische-semantische structuur van de taal, vooral wanneer computationele middelen of trainingsdata beperkt zijn.