Comparative Analysis of AI Agent Architectures for Entity Relationship Classification

Probleemstelling

Entiteitsrelatie-classificatie (het identificeren van de relatie tussen twee entiteiten in een tekst) blijft een uitdagende taak in informatiewinning, vooral in scenario's met beperkte gelabelde data en complexe relationele structuren. Hoewel Large Language Models (LLMs) uitstekende algemene taalvaardigheden hebben, worstelen ze vaak met gespecialiseerde domeinen (zoals wetenschappelijke literatuur of financiële documenten) en vereisen ze gestructureerde, interpreteerbare besluitvormingspijplijnen. Traditionele methoden, zoals toezichtgebaseerd leren met gesloten labelsets of statische prompt-engineering, missen vaak de flexibiliteit om zich aan te passen aan nieuwe relatie-types of domeinen zonder intensief fine-tuning.

Methodologie

De auteurs voeren een systematische vergelijking uit van drie verschillende architecturen voor AI-agenten, elk ontworpen om de prestaties van LLMs in relationele classificatie te verbeteren via verschillende redeneerstrategieën en prompt-adaptaties. De evaluatie vond plaats op drie diverse datasets:

1. REFinD: Financiële relatie-classificatie (bedrijven, data, financiële metrics).
2. CORE: Wetenschappelijke corpus (auteurs, affiliaties, onderzoeksonderwerpen).
3. SemEval 2010 Task 8: Algemeen domein (semantische relaties zoals Oorzaak-Gevolg).

De drie onderzochte architecturen zijn:

1. Generator-Reflection (Gen-Ref):

   • Bestaat uit twee coöperatieve agenten: een Generator die de initiële classificatie uitvoert en een Reflection Agent die de output kritisch evalueert en feedback geeft.
   • Dit proces verloopt in een iteratieve lus (maximaal 3 cycli) waarbij de Generator zijn output verfijnt op basis van de kritiek van de Reflection Agent.

2. Hierarchical Multi-Agent (Hier-Multi):

   • Gebruikt een Orchestrator Agent die invoerzinnen analyseert en dynamisch doorstuurt naar gespecialiseerde Specialist Agents.
   • Elke Specialist is gespecialiseerd in een specifiek subset van relatie-types (bijv. corporate structuur vs. marktcontext).
   • De Orchestrator verifieert de output van de Specialist en kan feedback geven voor herclassificatie als er een misclassificatie wordt gedetecteerd.

3. Dynamic-Example Generator (Dyn-Ex):

   • Een innovatieve aanpak die real-time voorbeelden genereert. De agent bouwt een diverse pool van voorbeelden die bestaat uit:
     • Positieve en adversariële negatieve voorbeelden (gegenereerd door de agent zelf).
     • Semantisch vergelijkbare voorbeelden opgehaald uit trainingsdata (via FAISS en embeddings).
   • Een selectie-agent kiest de meest relevante voorbeelden uit deze pool om een op maat gemaakte context (prompt) te vormen voor de definitieve classificatie.

De experimenten gebruikten modellen zoals Gemini 2.5 Flash/Pro en GPT-4o/mini. De prestaties werden vergeleken met standaard few-shot prompting (0, 3 en 5 shots) en state-of-the-art fine-tuned modellen.

Belangrijkste Bijdragen

1. Systematische Vergelijking: Dit is het eerste onderzoek dat deze drie specifieke agent-architecturen (Reflectie, Hiërarchie, Dynamische Voorbeelden) onderling vergelijkt voor de taak van relatie-classificatie met LLMs.
2. Multi-Domein Evaluatie: De methoden zijn getest op drie zeer verschillende domeinen (financieel, wetenschappelijk, algemeen) met gebruik van de nieuwste LLM-backends, wat de generaliseerbaarheid van de aanpak onderstreept.
3. Nieuwe Dynamische Voorbeeldgeneratie: De auteurs introduceren een multi-agent mechanisme voor per-instantie dynamische voorbeeldgeneratie, waarbij coöperatieve en adversariële agenten samenwerken om positieve en negatieve voorbeelden te construeren die specifiek zijn voor de test-instantie.
4. Prestaties zonder Fine-tuning: Het onderzoek toont aan dat deze agent-architecturen prestaties kunnen bereiken die dicht in de buurt komen van (en soms evenaren) die van modellen die specifiek zijn gefine-tuned, zonder dat er extra trainingsdata nodig is.

Resultaten

De experimentele resultaten tonen overtuigende verbeteringen ten opzichte van standaard prompting:

• Algemene Prestaties: Alle drie de multi-agent architecturen presteerden consistent beter dan standaard few-shot prompting (0-5 shots) op alle drie de datasets.
• Vergelijking met Fine-tuning:
  • Op de CORE-dataset bereikte de Generator-Reflection architectuur een F1-score van 0.76, wat vergelijkbaar is met fine-tuned modellen (0.80) en aanzienlijk beter dan prompting-baselines.
  • Op SemEval behaalde de Dynamic-Example architectuur de hoogste scores (F1 Micro 0.64), wat dicht bij fine-tuned modellen zoals T5-large (0.80) en Mistral-7B (0.77) ligt.
  • Op REFinD leverde de Dynamic-Example agent de beste resultaten (F1 Micro 0.64), wat de kracht van contextuele aanpassing in complexe financiële teksten benadrukt.
• Rol van de Orchestrator: In de Hiërarchische architectuur bleek de Orchestrator zeer effectief in het routeren van taken naar de juiste specialist, met name in domeinen met duidelijke structuren (zoals REFinD).

Betekenis en Conclusie

De studie concludeert dat multi-agent coördinatie een krachtige strategie is om de beperkingen van statische prompting te overwinnen. De belangrijkste inzichten zijn:

• Modulariteit en Generalisatie: De voorgestelde architecturen zijn modulair en kunnen worden toegepast op verschillende domeinen zonder dat het model opnieuw getraind hoeft te worden.
• Kostenefficiëntie: Het benaderen van fine-tuning-prestaties zonder de kosten en complexiteit van het trainen van modellen maakt deze aanpak zeer aantrekkelijk voor praktische toepassingen, vooral in low-resource scenario's.
• Toekomstperspectief: De auteurs suggereren dat deze framework kan worden uitgebreid naar complexere taken zoals document-level relatie-extractie, cross-linguale aanpassing en multi-modale integratie.

Kortom, dit werk biedt praktische richtlijnen voor het ontwerpen van robuuste, interpreteerbare en schaalbare systemen voor gestructureerde relatie-extractie met behulp van LLMs.