Detecting Reference Errors in Scientific Literature with Large Language Models

Probleemstelling

Wetenschappelijke publicaties zijn afhankelijk van correcte verwijzingen (referenties) om hun claims te onderbouwen. Echter, studies tonen aan dat verwijzingsfouten veelvoorkomend zijn, met prevalentiepercentages tussen de 11% en 41%, afhankelijk van het domein. Er worden twee hoofdtypen fouten onderscheiden:

1. Citatiefouten: Typografische fouten in de referentiestructuur (bijv. verkeerde auteurs, jaartal). Deze zijn minder frequent door digitale hulpmiddelen.
2. Citatie- of "Quotation"-fouten: De situatie waarin een referentie de bewering in de tekst niet daadwerkelijk ondersteunt. Dit is moeilijker te detecteren omdat het domeinkennis vereist om de tekst te vergelijken met de bron.

Deze fouten leiden tot de verspreiding van onnauwkeurige informatie en kunnen ernstige gevolgen hebben (bijv. de opioïde-crisis die mede werd veroorzaakt door onkritische citaten). Het handmatig controleren hiervan door redacteuren en reviewers is tijdrovend en schaalt niet mee met de explosieve groei van het aantal gepubliceerde papers. Er is een behoefte aan geautomatiseerde detectie.

Methodologie

De auteurs hebben een studie uitgevoerd om de capaciteiten van Large Language Models (LLMs) te evalueren bij het detecteren van citatiefouten zonder fine-tuning.

• Dataset: Er is een expert-gelabelde dataset samengesteld van 250 statement-referentieparen uit journal-artikelen. De labels zijn gebaseerd op eerdere studies:

  • Fully substantiated: De referentie ondersteunt de bewering volledig.
  • Partially substantiated: Er is een kleine fout, maar de kern van de bewering blijft geldig.
  • Unsubstantiated: De referentie ondersteunt de bewering niet (tegenstrijdig, irrelevant of ontbrekend).
    De dataset dekt diverse domeinen (biologie, chemie, fysica, sociale wetenschappen, etc.).

• Experimentele Opstelling:
  Drie modellen uit de OpenAI GPT-familie werden getest: GPT-3.5-Turbo, GPT-4-Turbo en GPT-4o.
  De modellen werden getest in drie verschillende settings om de impact van contextinformatie te onderzoeken:

  1. Alleen de titel van de referentie.
  2. Titel + abstract.
  3. Titel + abstract + tekstfragmenten (excerpts) uit de hoofdtekst.

• Retrieval-Augmented Generation (RAG):
  Voor de settings met tekstfragmenten werd een lokale RAG-pijplijn gebruikt:

  1. PDF's werden omgezet naar tekst met GROBID.
  2. De tekst werd opgesplitst in chunks van 256 tokens (met overlap).
  3. Met LlamaIndex werden de embeddings van de chunks vergeleken met de input-bewering, en de top 3 meest relevante chunks werden aan de prompt toegevoegd.
  4. Er werd ook een experiment uitgevoerd met de OpenAI Assistant API, die een eigen RAG-workflow biedt voor PDF-bestanden.

• Prompting: De modellen kregen instructies om een JSON-antwoord te genereren met een label en een korte uitleg. De temperatuur werd op 0 gezet voor consistentie.

Belangrijkste Resultaten

• Prestaties per Model: GPT-4 Turbo en GPT-4o presteerden aanzienlijk beter dan GPT-3.5 Turbo, vooral bij het detecteren van Unsubstantiated gevallen.
• Impact van Context:
  • Meer informatie leidde niet altijd tot betere prestaties. Bij GPT-3.5 Turbo daalde de prestatie op Fully substantiated gevallen zelfs wanneer meer tekst (abstract/excerpts) werd toegevoegd. Dit komt doordat GPT-3.5 oppervlakkige relaties zoekt; extra tekst die niet direct relevant is, verwarde het model.
  • GPT-4-modellen waren strenger en letten op kleine verschillen, wat soms leidde tot het labelen van correcte, maar geabstraheerde beweringen als Partially substantiated (bijv. als een metaal niet expliciet genoemd werd in de bron, terwijl het wel een voorbeeld was).
• Vergelijking met Bestaande Modellen: Modellen die waren getraind voor "scientific claim verification" (zoals die van Wadden et al., 2020) faalden op deze dataset; ze labelden bijna alles als "Niet genoeg informatie", wat aangeeft dat ze niet direct toepasbaar zijn voor deze specifieke taak.
• Hallucinaties: Tijdens de foutanalyse werden geen significante tekenen van hallucinaties gevonden in de uitleggen van de modellen.
• Foutanalyse: Een veelvoorkomende fout was dat modellen complexe beweringen met meerdere sub-claims als Partially substantiated labelden omdat de referentie niet alle details (bijv. specifieke geografische locaties) dekte, terwijl de kern van de bewering wel correct was.

Bijdragen

1. Dataset: De beschikbaarstelling van een expert-gelabelde, domein-overschrijdende dataset van statement-referentieparen voor het trainen en evalueren van AI-modellen.
2. Evaluatie: Een uitgebreide evaluatie van de "out-of-the-box" capaciteiten van LLMs voor het detecteren van citatiefouten, zonder dat fine-tuning nodig is.
3. Inzicht in Context: Kwantificering van de bijdrage van verschillende niveaus van contextinformatie (titel vs. abstract vs. volledige tekst) aan de nauwkeurigheid.
4. Toepassing: Een stap in de richting van AI-ondersteuning voor peer review en het verminderen van academisch wangedrag (zoals "paper mills" en nepartikelen).

Betekenis en Toekomstperspectief

De studie toont aan dat LLMs potentieel hebben om wetenschappelijke publicaties te controleren op feitelijke juistheid van citaten, zelfs met beperkte context. Dit kan de last voor redacteuren en reviewers verminderen.

De auteurs wijzen echter op een mismatch in het begrip van fouten tussen mensen en AI: AI is vaak te streng en mist de nuance van wetenschappelijke generalisatie en parafraseren. Toekomstig onderzoek moet zich richten op:

• Verbetering via prompt engineering (bijv. Chain-of-Thought).
• Het gebruik van ensemble-methoden.
• Het aanpassen van modellen aan specifieke domeinen.
• Het uitbreiden van de dataset naar meer domeinen (zoals sociale wetenschappen) en publicatievormen (conferenties, preprints).

De studie benadrukt dat hoewel de technologie veelbelovend is, menselijke expertise nog steeds essentieel blijft voor de nuance in wetenschappelijke beoordeling.