Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models

Probleemstelling

Grote Taalmodellen (LLMs) hebben een opmerkelijke vlotheid en veelzijdigheid getoond in diverse NLP-taken, maar ze zijn vatbaar voor feitelijke onnauwkeurigheden en hallucinaties. Dit vormt een groot risico in hoog-risicodomeinen zoals gezondheidszorg, juridische zaken en wetenschappelijke communicatie, waar betrouwbaarheid en verifieerbaarheid cruciaal zijn. Bestaande verificatiesystemen behandelen attributie (het koppelen van claims aan bronnen) en verificatie (het controleren van de waarheid) vaak als geïsoleerde componenten. Hierdoor wordt de subtiele wisselwerking tussen selectie van bewijs en redenering over implicatie (entailment) niet optimaal benut.

Methodologie: Het DAVinCI-framework

De auteurs introduceren DAVinCI (Dual Attribution and Verification), een modulair framework dat bestaat uit twee opeenvolgende fasen om de feitelijke betrouwbaarheid van LLM-outputs te verbeteren:

1. Attributiemodule:

   • Deze fase identificeert relevant bewijsmateriaal voor een gegeven claim.
   • Er worden twee strategieën onderzocht:
     • Volledige Evidentie-attributie: Gebruik van volledige bewijsteksten (bijvoorbeeld uit datasets zoals FEVER).
     • Span-gebaseerde attributie: Simulatie van een retriëvingscenario waarbij een QA-model (Question Answering) de meest relevante tekstfragmenten (spans) uit een bewijsstuk extrahert. Dit bootst realistische scenario's na waar slechts gedeeltelijke toegang tot informatie mogelijk is.
   • De module berekent attributiescores op basis van semantische gelijkenis.

2. Verificatiemodule:

   • De geattribueerde bewijzen worden doorgegeven aan een entailed-classifier (gebaseerd op transformers) die de relatie tussen de claim en het bewijs classificeert als: Ondersteund (Supported), Weersproken (Refuted) of Niet Genoeg Informatie (NEI).
   • Vertrouwensherkalibratie (Confidence Recalibration): Om overmoedige foutclassificaties te voorkomen, wordt een drempelwaarde ($\tau$, standaard 0.6) toegepast op de betrouwbaarheidsscore van het model. Als de score onder deze drempel valt, wordt de output gedegradeerd naar "Niet Genoeg Informatie". Dit zorgt voor conservatieve besluitvorming bij onzekere gevallen.
   • Bij meerdere bewijsstukken worden de resultaten geaggregeerd via meerderheidsstemming of gewogen gemiddelde.

Belangrijkste Bijdragen

• Unificatie van Attributie en Verificatie: DAVinCI is het eerste framework dat interne en externe attributie combineert met entailed-verificatie in een modulair en schaalbaar proces.
• Modulair Ontwerp: Het framework is ontworpen als een plug-in voor bestaande LLM-pipelines, waardoor onderzoekers het effect van attributiekwaliteit, verificatierobustheid en kalibratiegevoeligheid kunnen isoleren.
• Open Source Implementatie: De auteurs hebben een reproduceerbare implementatie vrijgegeven om onderzoek naar betrouwbare NLP te ondersteunen.
• Uitgebreide Evaluatie: Het paper biedt een grondige analyse op meerdere datasets en modellen, inclusief een ablatiestudie om de bijdrage van individuele componenten te kwantificeren.

Resultaten

Het framework werd geëvalueerd op de FEVER en CLIMATE-FEVER datasets, waarbij verschillende state-of-the-art NLI-modellen (zoals DeBERTa, RoBERTa, BART) werden gebruikt als baselines.

• Prestatieverbetering: DAVinCI verbeterde de classificatieprestaties significant ten opzichte van baselines die alleen verificatie gebruikten. De verbeteringen in nauwkeurigheid (accuracy), precisie, recall en F1-score varieerden tussen 5% en 20%.
  • Bijvoorbeeld: Voor het DeBERTa-large-mnli-model op de FEVER-dataset steeg de nauwkeurigheid van 0,42 naar 0,48 en de macro F1-score van 0,36 naar 0,41.
• Invloed van Bewijskwaliteit: Een ablatiestudie toonde aan dat volledige bewijsteksten consistent beter presteerden dan span-gebaseerde (gedeeltelijke) bewijzen. Span-gebaseerde attributie leidde vaak tot contextverlies en lagere verificatiekwaliteit.
• Drempelwaarde-tuning: De drempelwaarde voor herkalibratie bleek cruciaal voor het balanceren van precisie en recall. Een drempel van 0,7 bood over het algemeen de beste balans, terwijl een hogere drempel (0,9) de precisie verhoogde ten koste van de recall (meer "Niet Genoeg Informatie" labels).
• Robuustheid: Zelfs modellen met lagere baselinescores lieten aanzienlijke verbeteringen zien, wat aantoont dat DAVinCI de robuustheid van diverse transformer-architecturen verhoogt.

Betekenis en Toekomstperspectief

DAVinCI biedt een schaalbare route naar auditabele en betrouwbare AI-systemen. Door claims niet alleen te genereren, maar ze ook transparant te verantwoorden en te valideren op basis van bewijs, maakt het framework LLM's verantwoordelijker.

• Toepassingsgebied: Het is vooral waardevol in domeinen waar feitelijke juistheid essentieel is.
• Beperkingen: Huidige beperkingen omvatten de afhankelijkheid van hoogwaardig bewijs (moeilijk in open domeinen), het gebruik van statische entailed-modellen voor complexe redenering, en de beperking tot Engelstalige datasets.
• Toekomstig werk: De auteurs plannen uitbreidingen naar open-domein retriëving, multi-hop redenering, interne attributie (zoals het traceren van training data) en toepassing in meertalige en low-resource omgevingen.

Kortom, DAVinCI vormt een belangrijke stap in de richting van "Trust but Verify" voor generatieve AI, waarbij het de kloof tussen generatie, attributie en verificatie overbrugt.