Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs
Dit artikel introduceert SciFactCheck, een benchmark voor meerdere domeinen die onthult dat wetenschappelijke fine-tuning paradoxaal genoeg de hallucinaties en assertiviteit in grote taalmodellen verhoogt terwijl het hun interne vertrouwen vermindert, waarmee de huidige domeinspecifieke fine-tuning benaderingen voor het verbeteren van feitelijkheid uitdaagt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante, erudiete bibliothecaris hebt die een beetje van alles weet. Deze bibliothecaris is jouw standaard Large Language Model (LLM). Ze zijn geweldig in chatten, maar soms verzinnen ze dingen als ze niet zeker van de feiten zijn. Dit wordt "hallucineren" genoemd.
Stel je nu voor dat je die bibliothecaris naar een gespecialiseerde universiteit stuurt om alleen maar wetenschap te studeren. Je geeft ze duizenden tekstboeken, onderzoeksartikelen en wetenschappelijke tijdschriften. Je verwacht dat ze terugkomen als een "Wetenschappelijk Expert" die nog betrouwbaarder is dan voorheen.
Dit artikel is een rapportcijfer voor dat experiment, en het nieuws is verrassend slecht.
Dit is wat de onderzoekers vonden, gebruikmakend van eenvoudige analogieën:
1. De "Specialist" werd slechter in de waarheid
De onderzoekers creëerden een enorme test genaamd SCIFACTCHECK. Ze vroegen 18 verschillende AI-modellen (sommige algemeen, andere "wetenschappelijk getraind") om korte paragrafen te schrijven over 2.500 verschillende wetenschappelijke onderwerpen, van techniek tot filosofie.
Het resultaat: De "wetenschappelijke" modellen maakten juist meer fouten dan de algemene modellen.
- De analogie: Het is alsof je een algemene chef neemt en hem naar de culinaire school stuurt om alleen over specerijen te leren. Je zou verwachten dat ze beter worden in koken, maar in plaats daarvan vergaten ze hoe ze water moesten koken en overreden ze elk gerecht met te veel kruiden. De gespecialiseerde training leek de modellen te verwarren, waardoor ze minder betrouwbaar werden op basisfeiten dan hun algemene neefjes.
2. De drie soorten "liegen"
De studie keek niet alleen naar "foute" antwoorden; ze keken naar hoe ze fout waren. Ze vonden drie specifieke manieren waarop de modellen hallucineerden:
- De "onverifieerbare" leugen (Unverifiability): Het model verzint een feit dat echt klinkt, maar dat in geen enkel boek of artikel te vinden is.
- Analogie: De bibliothecaris zegt: "In 1995 werd het internet geregeerd door een geheime genootschap van katten." Het klinkt specifiek, maar er is geen enkel verslag van te vinden.
- De "overmoedige" leugen (Overclaim): Het model neemt een kleine waarheid en blaast dit op tot een enorme, absolute zekerheid.
- Analogie: Een studie zegt: "Dit medicijn zou kunnen helpen bij sommige patiënten." Het model zegt: "Dit medicijn geneest iedereen." Het overdrijft de reikwijdte en de zekerheid.
- De "verzonnen bron" leugen (Attribution): Het model verzint een bron om zijn bewering te onderbouwen.
- Analogie: De bibliothecaris zegt: "Volgens het beroemde artikel in het 'Journal of Space Physics' door Dr. Smith..." maar dat artikel en die dokter bestaan niet.
3. De "Zelfverzekerde maar Onwetende" Paradox
Een van de vreemdste bevindingen ging over hoe de modellen over hun eigen antwoorden "dachten".
- De bevinding: De wetenschappelijk getrainde modellen gebruikten meer zelfverzekerde taal (woorden als "zeker weten", "bewezen", "altijd") maar waren er intern juist minder zeker van (hun computer-"onderbuikgevoel" was wankel).
- De analogie: Stel je een student voor die het antwoord op een wiskundevraag niet weet. In plaats van te zeggen: "Ik weet het niet zeker", staat hij op, steekt zijn hand op en roept het antwoord met 100% overtuiging. Ze hebben de stijl van een zelfverzekerde wetenschapper geleerd, maar niet de inhoud. Ze zijn "luidruchtig fout".
4. Het "Feitencontrole"-probleem
Ten slotte probeerden de onderzoekers computers te gebruiken om de modellen te beoordelen, en vroegen ze vervolgens menselijke experts om de modellen ook te beoordelen.
- Het resultaat: De computerbeoordelaars en de menselijke experts waren het niet altijd met elkaar eens. Zelfs de mensen hadden moeite met het eens worden over wat een "wetenschappelijk feit" is dat gecontroleerd kan worden.
- De analogie: Het is alsof een groep juryleden probeert een gymnastiekroutine te beoordelen, maar ze kunnen het zelfs niet eens worden over de regels van de sport. In sommige velden (zoals wiskunde) is iedereen het eens over de regels. In andere (zoals filosofie of sociale wetenschappen) is het heel moeilijk om te definiëren wat "controleerbaar" is.
De Kern van het Verhaal
Het artikel concludeert dat het simpelweg trainen van AI op wetenschappelijke boeken niet maakt dat het een betrouwbare wetenschappelijke expert wordt. Sterker nog, het kan gevaarlijker zijn omdat het zelfverzekerder klinkt terwijl het minder accuraat is. We hebben betere instrumenten nodig om wetenschappelijke claims te verifiëren, en we kunnen er niet zomaar vanuit gaan dat "gespecialiseerde" AI automatisch beter is dan "algemene" AI.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.