Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM

Probleemstelling

De verspreiding van desinformatie op digitale platforms vormt een groot maatschappelijk risico. Bestaande systemen voor claimverificatie (fact-checking) hebben echter beperkingen:

1. Enkelvoudige bronnen: De meeste geautomatiseerde systemen vertrouwen op één kennisbron (vaak Wikipedia) en negeren de informatie uit andere bronnen.
2. Bevestigingsbias: Systemen zoeken vaak alleen naar bewijs dat de claim ondersteunt, waardoor ze contradicties en nuance missen.
3. Gebrek aan transparantie: Gebruikers zien niet hoe bronnen het oneens zijn, wat de interpretatie van de verificatieuitslag bemoeilijkt.

Het paper stelt dat deze beperkingen leiden tot een onvolledig beeld van de werkelijkheid, waar informatie vaak verspreid en soms tegenstrijdig is over meerdere bronnen.

Methodologie

De auteurs presenteren een nieuw systeem voor Open-Domain Claim Verification (ODCV) dat gebruikmaakt van Large Language Models (LLM's) en een innovatieve retrievestrategie. Het proces bestaat uit drie hoofdfasen (zoals weergegeven in Figuur 1):

1. Dual-Perspective Claim Generatie:

   • Voor elke originele claim ($c_i$) wordt een expliciete geïnverteerde (negatieve) claim ($\bar{c}_i$) gegenereerd met behulp van een LLM (bijv. Mistral AI).
   • Voorbeeld: "Een tekort aan vitamine B12 verhoogt homocysteïne" wordt omgezet naar "Een overschot aan vitamine B12 verlaagt homocysteïne".
   • Dit zorgt voor een dubbel perspectief: het systeem zoekt zowel naar ondersteunend als naar weerleggend bewijs.

2. Multi-Source Retrieval en Aggregatie:

   • Er worden drie onafhankelijke kennisbronnen gebruikt: Wikipedia, PubMed (voor wetenschappelijke literatuur) en Google (voor webresultaten).
   • Voor zowel de originele als de negatieve claim worden de top-$k$ documenten opgehaald uit elke bron.
   • Selectie en Deduplicatie: Zinnen worden gefilterd op relevantie (met SPICED embeddings) en gededupliceerd. De resultaten van de originele en negatieve zoekopdrachten worden samengevoegd tot een geünificeerde, verrijkte kennisbasis per claim.
   • Dit creëert een "cumulatieve bewijsset" ($E_i$) die zowel voor- als tegenargumenten bevat.

3. Verificatie en Disagreement Analyse:

   • Een zero-shot LLM (zonder fine-tuning) gebruikt de geaggregeerde bewijsset om de waarheidsgehalte van de claim te voorspellen (bijv. Ondersteund, Weerlegd, Niet genoeg bewijs).
   • Vertrouwensscores: Het systeem analyseert de log-probabilities (log-probs) van de voorspelde label voor elke bron afzonderlijk.
   • Visualisatie: Door de spreiding van deze log-probs te meten, kan het systeem kwantificeren of bronnen het eens zijn (lage spreiding, hoge zekerheid) of oneens (hoge spreiding, onzekerheid).

Belangrijkste Bijdragen

1. Nieuwe Retrieval-strategie: Een dual-perspective aanpak die zowel de originele claim als de negatie gebruikt om een vollediger beeld van ondersteuning en contradictie te krijgen.
2. Multi-Source Aggregatie: Het systematisch samenvoegen van bewijs uit Wikipedia, PubMed en Google, wat de kennisdekking vergroot ten opzichte van single-source systemen.
3. Kwantificering van Disagreement: Een methode om bron-specifieke onzekerheid en meningsverschillen te visualiseren via log-probability scores, wat de interpretatie en transparantie voor eindgebruikers verbetert.
4. Uitgebreide Evaluatie: Evaluatie van vijf state-of-the-art LLM's (Llama 70B/405B, Phi-4, Qwen 2.5, Mistral) op vier benchmark datasets (SciFact, PubHealth, Averitec, LIAR).

Resultaten

De experimenten, uitgevoerd in een zero-shot setting, tonen twee robuuste trends:

• Verbetering door Negatie: Het toevoegen van de negatieve claim resulteert over het algemeen in een 2-10% stijging in nauwkeurigheid en 2-8% stijging in macro-F1 ten opzichte van het gebruik van alleen de originele claim.
  • Voorbeeld: Op de SciFact dataset met Llama 70B en Google steeg de nauwkeurigheid van 0,550 naar 0,607 (+10,4%).
• Voordelen van Aggregatie: Het samenvoegen van bewijs uit alle drie de bronnen presteert beter dan het gebruik van een enkele bron, vooral bij bronnen die van nature zwakker presteren voor een specifiek domein.
  • Op SciFact presteerde de geaggregeerde set voor Llama 70B +41,9% beter dan alleen Wikipedia en +10,9% beter dan alleen Google.
  • Alleen bij de LIAR-dataset (politieke claims) bleek Google soms sterker dan de geaggregeerde set, maar de aggregatie bleef toch superieur aan Wikipedia en PubMed.
• Interpretatie van Onzekerheid: De visualisatie van log-probs (via Kernel Density Estimation) toont duidelijk aan dat wanneer bronnen het eens zijn, de vertrouwensscores scherp en hoog zijn. Bij meningsverschillen worden de distributies breder en lager, wat onzekerheid signaleert.

Betekenis en Conclusie

Dit paper benadrukt dat het omarmen van diversiteit, contradictie en aggregatie essentieel is voor betrouwbare fact-checking.

• Transparantie: Door bron-specifieke onzekerheid bloot te leggen, krijgen gebruikers een realistischer beeld van de complexiteit van informatie, in plaats van een simplistische "waar/onwaar" uitspraak.
• Robuustheid: Het systeem is minder afhankelijk van één specifieke bron en kan beter omgaan met open-domein claims waar informatie verspreid is.
• Toekomstperspectief: Hoewel het systeem nu in zero-shot werkt, tonen de resultaten aan dat toekomstige systemen kunnen profiteren van tijdgebonden retrieval en betere contextbewustzijn om desinformatie effectiever te bestrijden.

Kortom, de studie bewijst dat het actief zoeken naar tegenbewijs en het samenvoegen van diverse bronnen leidt tot nauwkeurigere en transparantere claimverificatie.