Résumé Technique : K-FinHallu

Énoncé du Problème

Bien que les modèles de langage de grande taille (LLM) aient fait progresser l'automatisation financière grâce à la génération augmentée par récupération (RAG), les hallucinations restent un obstacle critique au déploiement dans des environnements financiers à haut risque. Les benchmarks existants pour la détection d'hallucinations souffrent de deux lacunes principales lorsqu'ils sont appliqués aux services financiers réels :

1. Limitation des tours uniques : La plupart des benchmarks se concentrent sur des tâches en tour unique, échouant à capturer les complexités des dialogues multi-tours où les hallucinations découlent d'échecs de suivi du contexte, d'erreurs de résolution d'anaphores ou d'incohérences logiques avec les tours précédents.
2. Lacunes linguistiques et réglementaires : Les jeux de données existants sont principalement centrés sur l'anglais et les institutions occidentales, négligeant les nuances uniques du domaine financier coréen. Cela inclut des cadres réglementaires spécifiques (par exemple, le système de bail Jeonse), une morphologie agglutinante et une terminologie technique sino-coréenne polysémique qui ne peuvent être traitées par une simple traduction.

Par conséquent, il manque des cadres d'évaluation rigoureux pour détecter les hallucinations spécifiques au domaine dans les systèmes RAG financiers coréens multi-tours, en particulier concernant « l'abstention justifiée » (savoir quand ne pas répondre).

Méthodologie

Les auteurs présentent K-FinHallu, le premier benchmark pour la détection d'hallucinations dans les systèmes RAG financiers coréens multi-tours, construit à partir de documents financiers coréens authentiques.

Construction du Jeu de Données

• Corpus Source : Le jeu de données est basé sur le jeu de données « Compréhension de lecture automatique de documents juridiques et financiers coréens » d'AI-Hub, filtré pour les catégories financières. Pour prévenir les fuites de données, l'ensemble de test est tiré du Service de surveillance financière (FSS) et de l'Agence coréenne de protection des consommateurs, tandis que l'ensemble d'entraînement utilise des institutions disjointes.
• Génération de Dialogues Fidèles : Un pipeline utilisant GPT-4o simule des dialogues multi-tours (4 à 8 tours) entre un utilisateur et un assistant. L'assistant génère des réponses strictement ancrées dans les passages oraux et les textes d'indices des documents sources. Le pipeline inclut des tours de « reconfirmation » pour tester le suivi du contexte.
• Simulation de Récupération : Pour isoler la détection d'hallucinations des erreurs de récupération, le système simule la RAG en fournissant des contextes de récupération contrôlés ($P_n$).
  • Scénarios Respondables : $P_n$ contient le passage oral.
  • Scénarios Non-Respondables : $P_n$ est entièrement composé de « négatifs durs » (passages sémantiquement similaires ne contenant pas la réponse).
• Injection d'Hallucinations : Un pipeline automatisé injecte des hallucinations subtiles dans les dialogues fidèles sur la base d'une taxonomie hiérarchique proposée. Les stratégies incluent des modifications minimales (par exemple, l'échange de termes financiers, l'altération de nombres/modificateurs) pour préserver le naturel tout en introduisant des erreurs critiques. Deux sources d'injection (GPT-4o et Gemini-2.5-Flash) sont utilisées pour atténuer les artefacts spécifiques aux modèles.
• Contrôle Qualité : Les dialogues et les hallucinations injectées subissent un filtrage rigoureux via un LLM en tant que juge et une annotation humaine, garantissant un accord élevé (AC1 de Gwet > 0,70) sur des critères tels que la répondabilité, la plausibilité et le naturel.

Taxonomie des Hallucinations

L'article propose une taxonomie basée sur la répondabilité contextuelle :

1. Scénarios Respondables :
   • Contradictoire : La réponse est en conflit avec le contexte ou l'historique du dialogue.
   • Non vérifiable : La réponse inclut des affirmations externes non étayées par le contexte.
   • Irrélevance : La réponse est logiquement déconnectée de l'intention de l'utilisateur.
   • Refus Faux : Le modèle refuse de répondre malgré des preuves suffisantes.
2. Scénarios Non-Respondables :
   • Acceptation Fausse : Le modèle fournit une réponse malgré l'absence de preuves.
   • Vrai Refus : Le modèle s'abstient correctement (le comportement souhaité).

Contributions Clés

1. Benchmark K-FinHallu : La publication du premier benchmark de détection d'hallucinations multi-tours pour la RAG financière coréenne, construit sur des documents authentiques et couvrant divers domaines financiers (par exemple, Économie financière, Assurance).
2. Taxonomie Hiérarchique : Une taxonomie novatrice qui prend explicitement en compte l'abstention justifiée dans les dialogues multi-tours, distinguant entre « Refus Faux » et « Vrai Refus ».
3. Pipeline de Construction Évolutif : Démonstration que le pipeline d'injection peut générer automatiquement une division d'entraînement, permettant le fine-tuning de modèles plus petits (8B) pour égaler ou dépasser les LLM de pointe.

Résultats Expérimentaux

Les auteurs ont évalué des LLM de pointe et open-source (y compris GPT-5, Gemini-2.5, Llama-3, Qwen3 et des modèles centrés sur la Corée) en tant que détecteurs d'hallucinations.

• Détection Binaire : Les modèles propriétaires ont mené la performance, Gemini-2.5-Flash obtenant le F1 le plus élevé (0,860). Les modèles open-source comme Qwen3-32B (F1 0,732) ont montré des performances compétitives, tandis que les modèles centrés sur la Corée étaient en retrait par rapport à leurs homologues mondiaux de taille similaire.
• Détection Multi-Classes : Les performances ont chuté significativement lors du passage de la détection binaire au diagnostic multi-classes (identification du type spécifique d'hallucination). Même les modèles les plus puissants ont eu du mal avec les diagnostics fins.
• Comportement de Refus : L'« abstention justifiée » est restée l'axe le plus faible pour tous les modèles. La plupart des modèles de base n'ont pas réussi à distinguer entre le Vrai Refus et le Refus Faux, prédisant souvent un type exclusivement.
• Impact du Fine-Tuning : Le fine-tuning d'un modèle 8B (Qwen3-8B) avec une supervision par raisonnement (entraînant le modèle à produire une trace de raisonnement avant l'étiquette) a produit une précision globale de 0,896, surpassant tous les modèles de base, y compris GPT-5 (0,855). Cette approche a considérablement amélioré la précision de la détection d'hallucinations (de 0,446 à 0,864).
• Analyse des Sous-types : « L'incompréhension des termes financiers » est restée un goulot d'étranglement principal, montrant une amélioration minimale même avec des échelles de modèles plus grandes (jusqu'à 32B), suggérant un besoin d'une expertise de domaine plus profonde au-delà de la correspondance lexicale.

Importance et Revendications

L'article revendique que K-FinHallu comble une lacune critique dans l'évaluation de l'IA financière, spécifiquement le besoin de benchmarks multi-tours, linguistiquement nuancés et conscients de la réglementation. Les auteurs soulignent que :

• L'Abstention Justifiée est Critique : La capacité de refuser correctement de répondre lorsque les preuves font défaut est une dimension vitale mais sous-évaluée dans la RAG financière.
• Les Petits Modèles Peuvent Concurrencer : Avec une supervision par raisonnement, un modèle 8B fine-tuné peut atteindre des performances compétitives ou supérieures aux LLM de pointe, offrant une voie pratique pour le développement de détecteurs open-source.
• La Spécificité du Domaine Compte : La persistance des erreurs dans la compréhension des termes financiers souligne que les lois d'échelle générales ne résolvent pas automatiquement les décalages sémantiques spécifiques au domaine dans le jargon financier coréen.

Ce travail sert de test de stress pour les LLM actuels, révélant que même les modèles les plus avancés luttent avec les diagnostics fins et les comportements de refus requis pour un déploiement fiable dans des environnements financiers à haut risque.