Assessing LLM Reliability on Temporally Recent Open-Domain Questions

Titel: Evaluatie van de Betrouwbaarheid van Grootte Taalmodellen (LLM's) op Temporaal Recente Open-Domein Vragen

1. Het Probleem

Grootte Taalmodellen (LLM's) worden steeds vaker ingezet voor het beantwoorden van vragen in open domeinen. Echter, hun uitlijning met menselijke perspectieven op temporaal recente informatie (nieuwe gebeurtenissen die mogelijk niet in de trainingsdata zitten) is onderbelicht. Bestaande evaluaties focussen vaak op statische benchmarks of synthetische prompts, wat niet de dynamiek van real-world vragen weergeeft die voortkomen uit snel evoluerende gemeenschapskennis (bijv. op Reddit). Er is een gebrek aan inzicht in hoe goed LLM's antwoorden die consistent zijn met de menselijke consensus op recente, niet-gefactueerde vragen.

2. Methodologie

De auteurs introduceren RECOM (Reddit Evaluation for Correspondence of Models), een nieuwe benchmark en evaluatieframework.

• Dataset (RECOM):
  • Verzameld uit de subreddit r/AskReddit gedurende september 2025.
  • Uit 132.728 posts werden er 15.000 geselecteerd op basis van engagement (aantal comments/replies).
  • Na filtering van afwijzingen (refusals) bleven er 11.515 vraag-antwoordparen over.
  • Referentie-Antwoorden: In plaats van één "gouden" antwoord, werden meerdere menselijke antwoorden samengevat tot één referentie. Dit benadert de gemeenschapsconsensus. De samenvattingen werden gegenereerd door Llama-3.1-8B.
• Geëvalueerde Modellen:
  • Vier open-source LLM's met verschillende schalen:
    • Mistral-7B (7B parameters)
    • Llama-3.1-8B (8B parameters)
    • Gemma-2-9B (9B parameters)
    • GPT-OSS-20B (20B parameters)
• Evaluatie Framework:
  Een multidimensionale benadering die vier perspectieven combineert:
  1. Lexicale Overlap: BLEU (1-4) en ROUGE (1, 2, L) om woord-overlap te meten.
  2. Semantische Similariteit:
     • BERTScore: Zachte token-matching via contextuele embeddings.
     • Cosine Similarity: Holistische document-niveau uitlijning.
     • MoverScore: Semantische similariteit gemeten via "optimal transport" (aarde-verhuiskosten) om de kosten van het herschikken van semantische massa tussen tokens te kwantificeren.
  3. Logische Inferentie (NLI): Gebruik van een BART-large-MNLI-classificator om te bepalen of het antwoord een implicatie (entailment), tegenspraak (contradiction) of neutraal is ten opzichte van de referentie.
  4. Statistische Analyse: Wilcoxon signed-rank test en effectgroottes (Cohen's d) voor vergelijkingen.

3. Belangrijkste Bijdragen

1. Nieuwe Dataset: Introductie van RECOM met 11.515 real-world vragen uit september 2025, gekoppeld aan door de gemeenschap afgeleide referentieantwoorden.
2. Ontdekking van het "Semantisch-Lexicale Paradox": Het paper toont aan dat modellen semantisch bijna perfect uitgelijnd zijn met menselijke antwoorden, maar lexicaal (woord voor woord) nauwelijks overeenkomen.
3. Schalingswetten in Twijfel Getrokken: Het bewijst dat modelgrootte (aantal parameters) geen voorspeller is voor prestaties op deze taak; een kleiner model (7B) presteerde beter dan een groter model (20B).
4. Nuance in Evaluatiemetrics: Het paper demonstreert dat MoverScore een cruciaal tussenliggend niveau biedt tussen strikte lexicale metrics en holistische embedding-metrics.

4. Resultaten

De resultaten tonen een opmerkelijke discrepantie tussen verschillende meetmethoden:

• Lexicale Overlap (Laag):
  • Alle modellen scoorden extreem laag op BLEU-1 (< 8% overlap).
  • De beste performer (Mistral-7B) scoorde 6,17%, terwijl Gemma2-9B slechts 0,57% haalde.
  • Dit suggereert dat modellen geen tekst kopiëren, maar herschrijven.
• Semantische Similariteit (Hoog):
  • Cosine Similariteit: Alle modellen behaalden > 99% similariteit (bereik 99,10% - 99,51%).
  • BERTScore F1: Lag in het bereik van 83,3% - 84,8%.
  • MoverScore: Lag in het bereik van 50,9% - 53,4%, wat een tussenliggende positie inneemt die de kosten van semantische herschikking weerspiegelt.
• Het Paradox: Er is een kloof van ongeveer 90 procentpunten tussen de Cosine Similariteit (>99%) en de BLEU-1 score (<8%). Modellen behouden de betekenis door uitgebreid te paraphraseren in plaats van lexicaal te reproduceren.
• Model Prestaties:
  • Mistral-7B presteerde consistent het beste op alle metrics, gevolgd door Llama-3.1-8B.
  • GPT-OSS-20B (20B parameters) presteerde slechter dan beide kleinere modellen, wat de aanname weerlegt dat meer parameters automatisch leiden tot betere uitlijning op open-domein vragen.
• Logische Consistentie (NLI):
  • De meeste antwoorden (86-90%) werden geclassificeerd als Neutraal (gerelateerd aan het onderwerp, maar niet strikt afgeleid of tegensprekend).
  • Contradictie-rates bleven laag (< 7%), wat aangeeft dat modellen zelden direct in strijd komen met de menselijke consensus.

5. Betekenis en Conclusie

• Kritiek op Bestaande Metrics: Traditionele lexicale metrics (zoals BLEU en ROUGE) zijn onbetrouwbaar voor het evalueren van abstractive generatie. Ze straffen correcte maar anders geformuleerde antwoorden onterecht af.
• Noodzaak voor Multidimensionale Evaluatie: Evaluatieframeworks moeten lexicale, semantische en logische metrics combineren om een volledig beeld te krijgen. MoverScore en BERTScore blijken waardevoller dan BLEU voor dit type taken.
• Paraphrasing Capabiliteit: Moderne LLM's hebben robuuste paraphrasing-vaardigheden ontwikkeld; ze begrijpen de semantische kern van een vraag en kunnen deze lexicaal volledig anders verwoorden zonder de betekenis te verliezen.
• Schalingswetten: De resultaten suggereren dat voor open-domein vragen de architectuur, trainingsdata en instructie-tuning belangrijker zijn dan de pure parametergrootte.

Beperkingen: De studie meet uitlijning met menselijke consensus, niet noodzakelijk feitelijke juistheid. De referentieantwoorden zijn gegenereerd door een LLM (potentieel zelf-uitlijning bias) en de dataset is beperkt tot Reddit-vragen, wat de generaliseerbaarheid naar technische of feitelijke domeinen kan beperken.