Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs
Cet article présente SciFactCheck, un benchmark multi-domaine révélant que le fine-tuning scientifique augmente paradoxalement les hallucinations et l'assertivité des grands modèles de langage tout en diminuant leur confiance interne, remettant ainsi en question les approches actuelles de fine-tuning spécifiques à un domaine pour améliorer la véracité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un bibliothécaire brillant et érudit qui sait un peu tout sur tout. Ce bibliothécaire est votre modèle de langage étendu (LLM) standard. Il est excellent pour discuter, mais il lui arrive d'inventer des faits lorsqu'il n'est pas certain de lui. C'est ce qu'on appelle une « hallucination ».
Maintenant, imaginez que vous prenez ce bibliothécaire et que vous l'envoyez dans une université spécialisée pour étudier uniquement les sciences. Vous lui donnez des milliers de manuels, d'articles de recherche et de revues. Vous vous attendez à ce qu'il revienne en tant qu'« Expert Scientifique », encore plus fiable qu'auparavant.
Ce document est le bulletin de notes de cette expérience, et la nouvelle est étonnamment mauvaise.
Voici ce que les chercheurs ont découvert, en utilisant des analogies simples :
1. Le « Spécialiste » est devenu moins bon pour la vérité
Les chercheurs ont créé un test massif appelé SCIFACTCHECK. Ils ont demandé à 18 modèles d'IA différents (certains généraux, d'autres « entraînés scientifiquement ») d'écrire de courts paragraphes sur 2 500 sujets scientifiques différents, allant de l'ingénierie à la philosophie.
Le Résultat : Les modèles « scientifiques » ont commis plus d'erreurs que les modèles généraux.
- L'Analogie : C'est comme prendre un chef généraliste et l'envoyer en école de cuisine pour apprendre uniquement les épices. On s'attendrait à ce qu'il soit meilleur en cuisine, mais au lieu de cela, il a commencé à oublier comment faire bouillir de l'eau et a trop assaisonné chaque plat. L'entraînement spécialisé semble avoir confondu les modèles, les rendant moins fiables sur les faits de base que leurs cousins à usage général.
2. Les trois types de « mensonges »
L'étude ne s'est pas contentée d'examiner les réponses « fausses » ; elle a examiné comment elles étaient fausses. Ils ont trouvé trois façons spécifiques dont les modèles hallucinaient :
- Le mensonge « Invérifiable » (Invérifiabilité) : Le modèle invente un fait qui semble réel mais qui ne peut être trouvé dans aucun livre ou article.
- Analogie : Le bibliothécaire dit : « En 1995, une société secrète de chats dirigeait Internet. » Cela semble précis, mais aucune trace de cela n'existe.
- Le mensonge « Trop sûr de soi » (Surconfiance/Overclaim) : Le modèle prend une petite vérité et la transforme en une énorme certitude absolue.
- Analogie : Une étude dit : « Ce médicament pourrait aider certains patients. » Le modèle dit : « Ce médicament guérit tout le monde. » Il exagère la portée et la certitude.
- Le mensonge de la « Fausse Citation » (Attribution) : Le modèle invente une source pour appuyer sa affirmation.
- Analogie : Le bibliothécaire dit : « Selon l'article du célèbre "Journal of Space Physics" par le Dr Smith... » mais cet article et ce docteur n'ont jamais existé.
3. Le paradoxe du « Confiant mais Ignorant »
L'une des découvertes les plus étranges concernait la façon dont les modèles « percevaient » leurs propres réponses.
- La Découverte : Les modèles entraînés scientifiquement utilisaient un langage plus confiant (des mots comme « certainement », « prouvé », « toujours ») mais étaient en réalité moins confiants intérieurement (leur « intuition » informatique était fragile).
- L'Analogie : Imaginez un étudiant qui ne connaît pas la réponse à un problème de mathématiques. Au lieu de dire : « Je ne suis pas sûr », il se lève, lève la main et crie la réponse avec une conviction de 100 %. Il a appris le style d'un scientifique confiant, mais il n'a pas appris la substance. Ils sont « bruyamment faux ».
4. Le problème du « Vérificateur de faits »
Enfin, les chercheurs ont essayé d'utiliser des ordinateurs pour noter ces modèles, puis ont demandé à des experts humains de les noter également.
- Le Résultat : Les correcteurs informatiques et les experts humains ne tombaient pas toujours d'accord. Même les humains avaient du mal à s'accorder sur ce qui constituait un « fait scientifique » vérifiable.
- L'Analogie : C'est comme si un groupe de juges essayait de noter une routine de gymnastique, mais qu'ils ne parvenaient même pas à se mettre d'accord sur les règles du sport. Dans certains domaines (comme les mathématiques), tout le monde est d'accord sur les règles. Dans d'autres (comme la philosophie ou les sciences sociales), il est très difficile de définir ce qui est « vérifiable ».
L'essentiel
Le document conclut que le simple fait d'entraîner une IA sur des livres scientifiques ne fait pas d'elle un expert scientifique digne de confiance. En fait, cela pourrait la rendre plus dangereuse parce qu'elle semble plus confiante tout en étant moins précise. Nous avons besoin de meilleurs outils pour vérifier les affirmations scientifiques, et nous ne pouvons pas simplement supposer qu'une IA « spécialisée » est automatiquement meilleure qu'une IA « générale ».
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.