C$^2$-Cite: Contextual-Aware Citation Generation for Attributed Large Language Models

Probleemstelling

Hoewel Retrieval-Augmented Generation (RAG) hallucinaties in Large Language Models (LLMs) heeft verminderd, blijft het betrouwbaar en traceerbaar maken van gegenereerde inhoud een uitdaging. Bestaande methoden voor attributie (het toevoegen van citaten) hebben twee belangrijke tekortkomingen:

1. Gebrek aan contextbewustzijn: Instructie-getuned LLMs behandelen citatie-symbolen (zoals [i]) vaak als generieke placeholders zonder semantische betekenis. Ze begrijpen niet de contextuele relatie tussen het symbool en de bron waar het naar verwijst.
2. Gedissocieerde referenties: Door dit gebrek aan bewustzijn ontstaan er vaak losse referenties of fictieve citaten, wat de integriteit van de gegenereerde tekst ondermijnt. De LLMs slagen er niet in om de opgehaalde kennis naadloos te integreren in de gegenereerde zinnen.

Methodologie: C2-Cite Framework

De auteurs stellen C2-Cite voor, een nieuw raamwerk voor het fine-tunen van attributieve LLMs. Het doel is om citatie-symbolen om te vormen van passieve placeholders naar actieve "kenniswijzers" die semantisch verbonden zijn met de brondocumenten. Het framework bestaat uit drie kerncomponenten:

1. Contextbewuste Embedding (Contextual-Aware Embedding):

   • In plaats van citatie-markers ([i]) als losse tokens te behandelen, worden deze omgezet in speciale tokens (⟨cᵢ⟩).
   • De embedding van deze token wordt vervangen door een contextuele embedding die is afgeleid van het daadwerkelijke inhoud van het geretrieveerde document d[i].
   • Dit wordt gedaan via een mean-pooling operatie over de token-embeddings van het document. Hierdoor "weet" het model direct wat de betekenis is van de bron waarnaar wordt verwezen, nog voordat de tekst wordt gegenereerd.

2. Contextuele Citatie-Alignering (Contextual Citation Alignment):

   • Een Citatie Router (een binaire classifier) bepaalt tijdens de generatie of een token een standaardteksttoken of een citatietoken is.
   • Voor citatietokens wordt een aligneringsmechanisme toegepast. De verborgen staat van het gegenereerde token wordt gemapt naar de "citatie-ruimte" en vergeleken met de contextuele embeddings van alle beschikbare bronnen.
   • Het model leert zo om de juiste bron (het juiste nummer) te selecteren op basis van semantische gelijkenis, in plaats van willekeurig een nummer te kiezen.

3. Contextuele Attentieve Augmentatie (Contextual Attentive Augment):

   • Om te voorkomen dat citaties de vloeiheid van de tekst verstoren, wordt een extra attention-mechanisme toegevoegd.
   • Dit mechanisme dwingt het model om bij het genereren van een nieuwe zin (t_j) extra aandacht te besteden aan de eerder gegenereerde citatietokens (t_c).
   • Dit zorgt voor een sterkere semantische coherentie tussen zinnen die door citaties van elkaar gescheiden zijn.

Verliesfunctie:
Het totale verlies is een gewogen som van vier componenten: standaard cross-entropy verlies, citatie-aligneringsverlies, router-verlies en attention-augmentatieverlies.

Belangrijkste Bijdragen

• Nieuw Raamwerk: C2-Cite is het eerste framework dat expliciet de semantische relatie tussen citatie-symbolen en hun referentie-inhoud modelleert tijdens het fine-tuning-proces.
• Actieve Kenniswijzers: Door citaties te voorzien van contextuele embeddings, transformeren ze van statische tekens naar dynamische wijzers die direct toegang geven tot de broninformatie.
• Robuustheid: Het framework presteert goed ongeacht de kwaliteit van de synthetische trainingsdata, wat een groot voordeel is ten opzichte van methoden die afhankelijk zijn van zeer complexe data-pipelines.

Resultaten

De prestaties zijn geëvalueerd op het ALCE-benchmark (Automatic LLM Citation Evaluation) met drie datasets: ASQA, ELI5 en QAMPARI, gebruikmakend van het Llama3-8B-model.

• Kwaliteit van Citaties: C2-Cite++ (de geoptimaliseerde versie) overtreft de huidige state-of-the-art (SOTA) baseline (Front) met een gemiddelde verbetering van 5,8% in de Citation-F1 score.
• Correctheid van Antwoorden: Er is een aanzienlijke verbetering van 17,4% in de correctheid van de gegenereerde antwoorden.
• Efficiëntie: In vergelijking met iteratieve methoden (zoals Self-RAG of Blueprint) behaalt C2-Cite++ de hoogste doorvoer (samples per seconde), wat betekent dat het efficiënter is omdat het in één doorloop (single-pass) werkt.
• Ablatie-studie: Het verwijderen van de contextuele embedding leidde tot een daling van 25,6% in de citatiekwaliteit, wat aantoont dat dit de meest cruciale component is.

Betekenis en Conclusie

C2-Cite lost een fundamenteel probleem op in het veld van attributieve LLMs: de disconnectie tussen het citaat en de betekenis van de bron. Door citaties semantisch te verrijken, verbetert het niet alleen de nauwkeurigheid van de referenties, maar ook de algehele coherentie en kwaliteit van de gegenereerde tekst.

Dit onderzoek is significant omdat het aantoont dat attributie niet alleen een kwestie is van het verzamelen van goede trainingsdata, maar vooral van het ontwerp van de leermechanismen zelf. Het biedt een schaalbare oplossing voor het creëren van betrouwbaardere en transparantere AI-systemen die hun bronnen correct kunnen verantwoorden zonder in te leveren op de vloeiheid van de taal.