WAVE++: Capturing Within-Task Variance for Continual Relation Extraction with Adaptive Prompting

Technische Samenvatting: WAVE++

1. Probleemstelling (The Problem)

Het onderzoek richt zich op Continual Relation Extraction (CRE): het proces waarbij een model sequentieel nieuwe relaties tussen entiteiten leert zonder de kennis over eerder geleerde relaties te verliezen. De kernuitdagingen zijn:

• Catastrofale vergetelheid (Catastrophic Forgetting): Wanneer een model nieuwe taken leert, worden de parameters die cruciaal zijn voor oude taken overschreven.
• Beperkingen van huidige methoden:
  • Rehearsal-based methoden (die oude data opslaan) hebben privacyproblemen en hoge opslagkosten.
  • Prompt-based methoden (die gebruikmaken van kleine extra parameters) kampen vaak met foutieve taakidentificatie en hebben moeite met het vastleggen van zowel variatie binnen een taak (within-task variance) als variatie tussen taken (cross-task variance).
• Representatie-instorting: Wanneer verschillende relaties zeer vergelijkbare contexten hebben, kunnen huidige prompt-modellen de representaties te dicht bij elkaar brengen, waardoor ze ononderscheidbaar worden.

2. Methodologie (Methodology)

De auteurs introduceren WAVE++, een methode die is geïnspireerd op de link tussen prefix-tuning en Mixture of Experts (MoE). De kerncomponenten zijn:

• Taakspecifieke Prompt Pools (Task-specific Prompt Pools): In plaats van één gedeelde pool voor alle taken, krijgt elke taak een eigen pool van prompts. Door de lengte van de prompt te beperken tot $L=1$, krijgt elke "expert" (prompt) een eigen unieke sleutel (key). Dit verhoogt de flexibiliteit en voorkomt dat kennis van verschillende taken elkaar overlapt of verstoort.
• Labelbeschrijvingen (Label Descriptions): Om de semantische context te versterken, gebruikt het model gedetailleerde beschrijvingen van relaties (gegenereerd door een LLM zoals Gemini). Via een contrastive loss wordt de representatie van de input gedwongen om dichter bij de beschrijving van de juiste relatie te liggen en verder weg van onjuiste relaties. Dit verbetert de robuustheid bij binnen-taak variaties.
• Cascade Voting voor Taakvoorspelling: In plaats van een onbetrouwbare MLP-classifier te gebruiken om te bepalen bij welke taak een input hoort, gebruikt WAVE++ een stemmechanisme. De verschillende prompt pools "stemmen" op de meest waarschijnlijke taak op basis van de Mahalanobis-afstand tot de geleerde distributies. Dit mechanisme is stabieler bij verschuivingen in de datadistributie.
• Generatieve Replay (Generative Modeling): Om vergetelheid in de gedeelde parameters (de classifier) tegen te gaan zonder echte data op te slaan, gebruikt WAVE++ een generatief model. Dit model synthetiseert latente representaties (gemiddelden en covarianties) van oude relaties, die vervolgens worden gebruikt om de classifier te hertrainen.

3. Belangrijkste Bijdragen (Key Contributions)

1. Theoretische brug: Het aantonen dat prompt-based continual learning kan worden geïnterpreteerd als een specifieke vorm van Mixture of Experts (MoE) architectuur.
2. Nieuwe architectuur: De introductie van taakspecifieke prompt pools die de expressiviteit vergroten zonder de computationele kosten excessief te verhogen.
3. Robuuste taakidentificatie: Het vervangen van klassieke classificatie-headers door een cascade voting mechanisme, wat de nauwkeurigheid van de taakidentificatie (Task-Identity Inference) aanzienlijk verbetert.
4. Efficiënte kennisbehoud: Een methode voor generatieve replay die privacyvriendelijk is en minimale opslag vereist.

4. Resultaten (Results)

De experimenten op de FewRel en TACRED datasets laten het volgende zien:

• State-of-the-art prestaties: WAVE++ presteert beter dan zowel bestaande prompt-based methoden (zoals L2P, HiDe-Prompt, EoE) als traditionele rehearsal-based methoden (zoals RP-CRE, CRL).
• Superieure weerstand tegen vergetelheid: Op de FewRel-dataset presteert WAVE++ aanzienlijk beter op de laatste taak (T10) vergeleken met de baselines, wat bewijst dat het de geleerde kennis effectief behoudt.
• Effectiviteit van componenten: Ablatiestudies bevestigen dat zowel de prompt pools, de labelbeschrijvingen als de generatieve replay essentieel zijn voor de hoge nauwkeurigheid van het model.

5. Betekenis (Significance)

WAVE++ biedt een krachtige oplossing voor het probleem van continual learning in de context van natuurlijke taalverwerking. Het bewijst dat men geen historische data hoeft op te slaan om catastrofale vergetelheid tegen te gaan, wat cruciaal is voor toepassingen waarbij privacy en opslagefficiëntie van groot belang zijn. Door de focus te leggen op de variatie binnen een taak, lost het een fundamenteel probleem op waarbij modellen moeite hadden met het onderscheiden van subtiele verschillen in context.