💬 NLP

Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting

Cet article introduit l'« Optimisation Ancrée » (Grounded Optimization), un cadre d'ingénierie à cinq couches qui atténue efficacement les risques d'hallucination spécifiques dans la réécriture automatisée de CV en combinant la validation temporelle, la détection de contamination déterministe et l'application structurelle pour réduire les taux d'hallucination d'une moyenne de 2,48–5,36 à 0,04–0,24 par document.

Auteurs originaux : Shashank Indukuri, Adarsh Agrawal

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shashank Indukuri, Adarsh Agrawal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un CV qui raconte l'histoire véritable de votre carrière. Maintenant, imaginez que vous engagez un assistant IA très talentueux, mais un peu trop zélé, pour « polir » ce CV afin qu'il soit parfait pour un poste spécifique.

Le problème est que cette IA, tellement désireuse de vous faire plaisir, commence parfois à inventer des choses. Elle pourrait dire que vous avez utilisé un outil qui n'existait pas encore, prétendre que vous avez travaillé avec un système cloud que vous n'avez jamais touché, ou inventer une certification que vous n'avez jamais obtenue. Dans l'article, les auteurs appellent ces erreurs des « hallucinations ».

Cet article présente un nouveau système appelé Optimisation Ancrée (Grounded Optimization). Ne le voyez pas comme un simple sortilège magique, mais comme un poste de contrôle de sécurité à cinq couches conçu pour attraper l'IA avant qu'elle n'envoie un faux CV.

Voici comment fonctionne le système, en utilisant des analogies simples :

Les quatre types de « Fake News » que l'IA crée

Avant de corriger le problème, les auteurs ont identifié quatre façons spécifiques dont l'IA ment :

Voyage dans le temps (Fabrication Temporelle) : L'IA prétend que vous avez utilisé un nouvel outil logiciel en 2019, alors que cet outil n'a été inventé qu'en 2023. C'est comme dire que vous conduisiez une Tesla en 1995.
Mauvais quartier (Contamination de Domaine) : Si vous avez travaillé dans une entreprise utilisant Amazon (AWS), l'IA pourrait accidentellement glisser des termes liés à Microsoft (Azure) ou Google (GCP) parce que la description du poste demandait une expérience « multi-cloud ». C'est comme un chef qui ne connaît que la cuisine italienne et qui prétend soudainement être un expert en cuisine japonaise simplement parce que le client a demandé une « fusion asiatique ».
Le Rayon Réducteur (Mutation Structurelle) : L'IA ne ment pas sur les faits, mais elle les supprime. Elle prend vos 8 réalisations spécifiques et les écrase en 2 phrases vagues, perdant ainsi les détails uniques qui vous rendaient spécial.
La Baguette Magique (Fabrication de Contenu) : L'IA invente des choses entières : de faux noms d'entreprises, des chiffres inventés (comme « réduction des coûts de 90 % ») ou des certifications que vous n'avez jamais obtenues.

Le système de défense à cinq couches

Pour arrêter ces mensonges, les auteurs ont construit un pipeline avec cinq couches distinctes. Imaginez un CV passant par une usine dotée de cinq stations de contrôle qualité :

Couche 1 : La Police du Voyage dans le Temps (Validation Temporelle)

Comment ça marche : Avant que l'IA n'écrive quoi que ce soit, le système lui donne une chronologie stricte. Il lui dit : « Tu écris sur l'année 2019. Il t'est interdit de mentionner des outils sortis après 2019. »
L'analogie : C'est comme donner à un historien voyageur dans le temps une liste d'« artefacts approuvés » pour son époque. S'il essaie d'écrire sur un iPhone en 1980, le système l'arrête.

Couche 2 : Le Détective du Cloud (Détection de Contamination)

Comment ça marche : Cette couche n'utilise pas une autre IA ; elle utilise une liste de contrôle informatique stricte (une « taxonomie regex ») de 257 services cloud différents. Elle scanne le texte pour voir si l'IA a remplacé un outil AWS par un outil Azure.
L'analogie : Imaginez un agent de sécurité avec une liste maîtresse de toutes les marques autorisées. Si le CV mentionne « Microsoft » alors que l'original était uniquement « Amazon », l'agent signale immédiatement l'erreur. Comme il s'agit d'un simple contrôle mathématique, c'est rapide et impossible à tromper pour l'IA.

Couche 3 : Le Comptable (Application Structurelle)

Comment ça marche : Le système compte vos points clés avant et après. Si vous avez commencé avec 8 puces (bullet points), l'IA doit en rendre au moins 7. Elle ne vous laisse pas supprimer votre travail.
L'analogie : C'est comme un boulanger qui doit s'assurer que si vous commencez avec 10 biscuits, vous n'en finissez pas avec 2. Si l'IA essaie de trop « condenser » vos accomplissements, le système rejette le résultat.

Couche 4 : Le Manuel de Règles (Ancrage au niveau du Prompt)

Comment ça marche : C'est la première ligne de défense. Le système donne à l'IA un ensemble d'instructions strictes avant qu'elle ne commence à écrire : « N'invente pas d'entreprises. Ne change pas ton diplôme. Ne mens pas sur les dates. »
L'analogie : C'est comme un professeur donnant une grille d'examen stricte à un élève. Si l'élève suit les règles parfaitement, il obtient un A. Cependant, l'article note que si l'élève est fatigué (température élevée) ou pas très intelligent (modèle d'IA plus faible), il peut quand même ignorer les règles.

Couche 5 : Le Juge Final (Agent Évaluateur)

Comment ça marche : Une seconde IA indépendante agit comme un « critique ». Elle lit le CV original, la nouvelle version et la description du poste, puis décide : « Est-ce acceptable ? » Si elle répond « Non », le système renvoie le travail pour être corrigé.
L'analogie : C'est l'éditeur en chef qui révise l'article avant l'impression. S'il repère un mensonge, il renvoie le travail à l'écrivain pour correction.

Qu'ont-ils découvert ?

Les auteurs ont testé ce système sur 25 faux CV dans différents secteurs et avec différents modèles d'IA.

Sans le système : L'IA commettait en moyenne entre 2,5 et 5,4 mensonges par CV.
Avec le système complet : Le nombre de mensonges est tombé à 0,04 - 0,24 par CV. C'est une réduction massive (plus de 90 %).

Le point clé :
Le « Manuel de Règles » (Couche 4) fonctionne très bien lorsque l'IA est intelligente et calme (température basse). Mais quand l'IA devient « excitée » (température élevée) ou qu'il s'agit d'un modèle plus faible, elle commence à ignorer les règles. C'est là que la Police du Voyage dans le Temps et le Détective du Cloud (Couches 1 et 2) deviennent essentiels. Ils agissent comme un filet de sécurité qui attrape les mensonges même lorsque l'IA tente de transgresser les règles.

L'essentiel à retenir

L'article conclut que pour empêcher l'IA de mentir sur votre parcours personnel, vous ne pouvez pas simplement lui demander gentiment. Vous avez besoin d'une défense par couches : des instructions strictes, une vérification de la chronologie, une liste de contrôle des services cloud, un compteur de contenu et un juge final. Cela garantit que lorsque votre CV est optimisé, il reste fidèle à votre vie réelle, simplement poli, et non fabriqué.

Résumé Technique : Optimisation Ancrée pour la Réduction des Hallucinations des LLM dans la Réécriture Automatisée de Documents Personnels

1. Énoncé du Problème

L'application des modèles de langage étendus (LLM) à l'optimisation de CV pour les systèmes de suivi des candidatures (ATS) introduit des risques d'hallucination spécifiques, distincts de la génération de texte générale. Contrairement aux chatbots où les utilisateurs peuvent vérifier les sorties de manière interactive, l'optimisation de CV opère souvent en mode par lots avec une révision humaine minimale. Les auteurs identent quatre modes de défaillance distincts qui entraînent des conséquences concrètes, telles que la disqualification ou le licenciement du candidat :

Fabrication Temporelle (H1) : L'injection de technologies qui n'existaient pas durant la période d'emploi revendiquée par le candidat (ex. : citer LangChain pour un poste en 2018).
Contamination Trans-Domaine (H2) : L'introduction de terminologies issues d'écosystèmes technologiques absents du rôle d'origine (ex. : ajouter des services Azure à un rôle exclusivement AWS) pour correspondre aux mots-clés de la fiche de poste.
Mutation Structurelle (H3) : La fusion, la suppression ou la condensation silencieuse de puces (bullet points), ce qui supprime des accomplissements réels sous couvert d'« optimisation ».
Fabrication de Contenu (H4) : L'invention de noms d'entreprises, l'inflation de mesures ou l'ajout de certifications non méritées.

La vérité terrain dans ce domaine est l'historique de carrière du candidat lui-même, que le LLM doit améliorer sans le déformer.

2. Méthodologie : Le Cadre d'Optimisation Ancrée

Les auteurs proposent l'Optimisation Ancrée, un cadre de défense en profondeur à cinq couches implémenté via un système multi-agents sur LangGraph. Le système traite les CV via des agents spécialisés (Résumé, Compétences, Expérience, Projets, Éducation) l'Agent d'Expérience recevant l'ensemble de la pile de défense. Les couches opèrent selon une séquence spécifique : Couche 4 (Injection de Prompt) → Appel LLM → Couches 1–3 (Validation de Sortie) → Couche 5 (Porte de l'Évaluateur).

Couche 1 : Validation du Contexte Temporel

Cette couche empêche l'injection anachronique de technologies en construisant une chronologie par CV. Elle intègre une cartographie curatée des dates de sortie des technologies (ex. : LangChain → 2022) dans les prompts des agents. Le LLM est instruit de vérifier que toute technologie mentionnée dans un rôle spécifique existait durant la période de ce rôle.

Couche 2 : Détection de la Contamination Trans-Domaine

Pour traiter la fuite trans-domaine, les auteurs emploient un mécanisme entièrement déterministe, sans LLM. Ils ont construit une taxonomie de 257 services cloud répartis entre les piles AWS, GCP, Azure et On-Premise. La détection utilise un système de correspondance regex à deux niveaux, sans dépendance aux frontières de mots :

Niveau 1 : Attribue un fournisseur basé sur une correspondance de mot-clé explicite unique.
Niveau 2 : Nécessite $\ge$ 2 correspondances de noms de services pour résoudre l'ambiguïté (ex. : distinguer « lambda » comme AWS Lambda vs un mot-clé Python).
Le système compare la signature cloud d'un rôle avant et après l'optimisation. Si de nouveaux fournisseurs sont détectés, la sortie est annulée et un avertissement est injecté pour une nouvelle tentative.

Couche 3 : Respect de l'Invariance Structurelle

Cette couche traite la mutation structurelle en comptant les unités sémantiques avant et après l'optimisation. Elle valide que le nombre d'entrées d'expérience ( $|E'| \ge |E|$ ) et de puces par entrée ( $|b'_i| \ge |b_i| - 1$ ) sont maintenus dans une certaine tolérance. Une perte de contenu significative déclenche une nouvelle tentative avec des cibles structurelles explicites.

Couche 4 : Ancrage du Contenu au Niveau du Prompt

Il s'agit de la première ligne de défense, intégrant des règles d'immuabilité explicites directement dans les prompts des agents. Les contraintes incluent :

Préserver le nombre exact de puces.
Prohiber l'ajout ou la modification de détails éducatifs.
Empêcher la création de nouvelles entreprises ou l'usage de marqueurs (placeholders).
S'assurer que les mesures restent réalistes pour la période concernée.

Couche 5 : Porte QA de l'Agent Évaluateur

Une instance LLM indépendante agit comme un agent de contrôle qualité adverse. Elle reçoit le CV original, la version réécrite et la description de poste cible. Elle renvoie une décision d'acceptation binaire et un feedback. Si l'évaluateur rejette la sortie, le feedback est injecté dans la tentative de réécriture suivante. Si l'évaluateur échoue (timeout/sortie malformée), il opte par défaut pour le rejet afin d'éviter l'acceptation silencieuse d'hallucinations.

Mécanisme de Repli (Fallback)

Si la validation échoue après trois cycles de tentatives, le système emploie un mécanisme de fusion-repli déterministe qui combine la meilleure sortie LLM avec le contenu original préservé pour garantir qu'aucune donnée originale ne soit perdue.

3. Contributions Clés

Taxonomie des Hallucinations : Une classification de quatre modes de hallucination (Temporelle, Trans-Domaine, Structurelle, Contenu) uniques à l'optimisation de documents personnels.
Cadre à Cinq Couches : Un système multi-agents fonctionnel combinant validation déterministe, ingénierie de prompt et vérification adverse.
Détecteur de Contamination Déterministe : Un outil basé sur des regex couvrant 257 services cloud avec un score de confiance à deux niveaux, conçu pour éviter d'introduire une seconde surface d'hallucination LLM.
Étude d'Ablation et de Sensibilité : Une évaluation à travers 16 conditions expérimentales (3 LLM, 4 températures, 6 configurations de couches, 680 invocations de LLM) caractérisant la contribution de chaque couche.

4. Résultats Expérimentaux

Le cadre a été évalué sur 25 CV synthétiques couvrant 14 industries et 42 rôles.

Performance de Base (Baseline) : Les baselines non défendues ont produit entre 2,48 et 5,36 hallucinations détectées par CV, la Contamination Trans-Domaine (H2) étant le mode de défaillance dominant (79–89 % des incidents).
Étude d'Ablation (GPT-4.1-nano, t=0) :
- Ancrage au niveau du Prompt (L4) seul : A atteint 0,00 hallucination détectée dans cette configuration spécifique.
- Cadre Complet : A atteint un taux de 0,12 (0,04 en excluant les faux positifs probables en H4).
- L'étude a noté que la performance de L4 seule ne se généralisait pas aux modèles plus faibles ou aux températures plus élevées.
Généralisation Multi-Modèles :
- Les modèles moins capables (GPT-4o-mini, Llama-3.1-8B) ont produit 2 à 4 fois plus d'hallucinations de base.
- Le cadre complet a réduit les taux d'hallucinations détectées de 95,2 % à 99,3 % sur tous les modèles testés.
Sensibilité à la Température :
- À mesure que la température augmentait de 0,0 à 1,0, le taux résiduel d'hallucination sous le cadre complet passait de 0,12 à 0,24.
- Cette augmentation était presque entièrement due aux résidus Temporels (H1), suggérant que la conformité au prompt s'affaiblit avec une stochasticité accrue, nécessitant les couches déterministes (L1–L3) comme complément plutôt que comme remplacement de l'ancrage par prompt.

5. Signification et Limites

Signification :
L'article soutient que si l'ingénierie de prompt est efficace dans des conditions idéales (modèles puissants, basse température), elle est insuffisante pour des systèmes de production robustes. Les couches déterministes (L1–L3) apportent une valeur critique précisément là où la conformité au prompt est la plus faible (température élevée, modèles plus faibles). Ce travail caractérise les modes de défaillance spécifiques de l'optimisation de documents personnels et fournit une approche systématique et stratifiée pour les atténuer sans dépendre uniquement de bases de connaissances externes.

Limites :
Les auteurs notent explicitement plusieurs contraintes :

Couplage Détecteur-Défense H2 : Le détecteur H2 et la défense de la Couche 2 partagent la même fonction sous-jacente. Par conséquent, les comptes H2 dans les configurations où la Couche 2 est active sont mécaniquement nuls par construction et ne peuvent être interprétés comme des mesures empiriques indépendantes d'élimination.
Jeu de Données : L'évaluation repose sur 25 CV synthétiques et une taxonomie de 257 services, ce qui peut omettre les distributions du monde réel et les plateformes de la longue traîne (ex. : Salesforce, SAP).
Portée du Détecteur : Les détecteurs sont spécifiques à la tâche et ne se comparent pas à des benchmarks d'hallucination généraux tels que SelfCheckGPT ou FActScore.
Magnitude : Le cadre détecte la présence des hallucinations mais pas nécessairement la magnitude de la fabrication.

Les auteurs concluent que les travaux futurs devraient prioriser un évaluateur basé sur l'NLI (Natural Language Inference) pour la contamination trans-domaine et une annotation humaine sur de vrais CV.