Résumé technique : DIAGFLOWBENCH

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme systèmes de conseil de maintenance, s'appuyant sur de la documentation procédurale (par exemple, des organigrammes) pour contraindre les sorties à des étapes approuvées et prévenir l'hallucination. Bien que les benchmarks existants évaluent la capacité d'un modèle à suivre ces procédures sur des entrées propres et cartographiables, ils ne parviennent pas à traiter une dynamique cruciale du monde réel : les opérateurs s'écartent fréquemment du chemin documenté. Dans la pratique, les opérateurs signalent des symptômes inédits, posent des questions en pleine inspection ou utilisent un jargon spécifique au domaine qui ne se transpose pas proprement aux arêtes de la procédure.

Les paradigmes d'évaluation actuels traitent la reconnaissance de l'« hors-procédure » comme une tâche d'abstention distincte et mono-tour. Cependant, dans un dialogue de diagnostic en direct, un modèle doit simultanément faire progresser les tours conformes et reconnaître les entrées non conformes au sein d'une même conversation. L'article soutient que les benchmarks existants n'évaluent pas adéquatement la capacité d'un modèle ancré à gérer ces entrées « hors-procédure », particulièrement le risque qu'un modèle sélectionne une étape réelle mais contextuellement inappropriée plutôt que de fabriquer un fait.

Méthodologie

Les auteurs introduisent DIAGFLOWBENCH, un benchmark conçu pour évaluer les modèles ancrés sur des organigrammes sous des conditions coopératives et hors-procédure.

Construction du jeu de données

• Source : 50 organigrammes de diagnostic industriel anonymisés provenant d'un fabricant de produits de consommation, couvrant des classes de pannes telles que le suivi de bandes transporteuses et le placement robotique.
• Structure : Les graphes contiennent entre 7 et 60 nœuds (moyenne de 31) avec des facteurs de branchement décisionnel de 2 à 4.
• Conversations : Ces organigrammes ont été rendus sous forme de 1 676 conversations multi-tours.
  • Coopérative : 838 conversations où l'opérateur suit strictement la procédure.
  • Mixte : 838 conversations où des tours hors-procédure sont injectés à des positions non terminales.
• Catégories d'injection : Les entrées hors-procédure sont stratifiées en trois types selon leur relation avec la procédure :
  1. Lacune de couverture (Coverage Gap) : Un symptôme pour lequel la procédure ne possède aucune branche.
  2. Dysfonctionnement non documenté (Undocumented Malfunction) : Une panne située en dehors de toute condition de nœud à l'étape actuelle.
  3. Question non liée (Unrelated Question) : Une requête totalement étrangère à la tâche de diagnostic.
• Perturbation par le bruit : Une passe de robustesse introduit des fautes de frappe, des formulations télégraphiques et des abréviations caractéristiques des textes de bons de travail de maintenance.

Protocole d'évaluation

L'étude évalue dix modèles commerciaux et à poids ouverts (incluant des variantes de Gemini, GPT-4o, Llama 4, Qwen3, Mistral et Nemotron). L'évaluation définit des modes de défaillance spécifiques pour les tours hors-procédure :

• Abstention correcte (CA - Correct Abstention) : Le modèle reconnaît que l'entrée est hors champ et décline ou redirige.
• Fabrication (FA - Fabrication) : Le modèle renvoie une étape absente de la procédure (hallucination standard).
• Mappage forcé (FM - Forced Mapping) : Le modèle renvoie un nœud authentique de l'organigramme de la procédure, mais aucune arête menant à ce nœud n'est entailée par l'énoncé de l'opérateur. Il s'agit du mode de défaillance principal étudié.

Les métriques incluent la précision des étapes (SA - Step Accuracy) et la reconnaissance de la terminaison (TR - Termination Recognition) pour les tours sur procédure, ainsi que les taux de CA, FA et FM pour les tours hors procédure. Un juge basé sur un modèle de langage (Claude Haiku) classifie les réponses hors procédure, validé par des annotateurs humains.

Contributions clés

1. Jeu de données DIAGFLOWBENCH : Un ensemble de 50 organigrammes industriels convertis en 1 676 conversations multi-tours qui contrastent explicitement les dialogues conformes avec leurs homologues hors procédure.
2. Évaluation complète : Une évaluation de dix modèles diversifiés, tant commerciaux qu'à poids ouverts, analysant les performances à travers différentes architectures et échelles.
3. Identification du « Mappage forcé » : L'article identifie et définit un mode de défaillance spécifique où les modèles assignent de force une requête hors procédure à une étape inapplicable. Contrairement à la fabrication, ces étapes sont structurellement valides et ancrées dans le manuel, ce qui les rend difficiles à détecter via des contrôles d'ancrage basés sur la similitude standard.

Résultats

• Compétence sur procédure : Les modèles performent généralement bien sur les entrées conformes, avec une précision des étapes (SA) allant de 70,1 % à 85,0 %. Cependant, la reconnaissance de la terminaison (TR) est nettement plus volatile (38,8 % à 98,5 %).
• Compétence hors procédure :
  • La Fabrication (FA) est faible : L'ancrage empêche avec succès les modèles d'inventer des étapes (taux de FA entre 2,2 % et 8,6 %).
  • Le Mappage forcé (FM) est dominant : Les taux de FM sont nettement plus élevés et plus volatiles (15,7 % à 67,4 %), apparaissant comme le principal mode de défaillance.
  • L'abstention est incohérente : Les taux d'abstention correcte (CA) varient considérablement et ne sont pas prédits de manière fiable par l'échelle du modèle, l'architecture ou le niveau d'accès. Notamment, des modèles plus anciens (Llama 3.3 70B) surpassent parfois les générations plus récentes (Llama 4) dans la gestion du hors procédure.
• Récupération : Une seule erreur de type FM ou FA provoque un effondrement catastrophique des performances ultérieures. Le taux de récupération (identification correcte de l'étape suivante après une erreur) chute entre 1,0 % et 9,1 %, contre une base de 70 à 85 % pour les conversations propres.
• Facteurs du FM : Le mappage forcé est fortement régi par la similitude lexicale entre la requête hors procédure et le texte de la procédure. Les modèles sont plus susceptibles de forcer le mappage des entrées de type « Lacune de couverture » (qui partagent le vocabulaire du manuel) que des questions non liées.

Signification et affirmations

L'article affirme que les mécanismes de contrainte conçus pour prévenir l'hallucination (ancrer les modèles à un ensemble fermé d'étapes procédurales) peuvent par inadvertance créer un « angle mort ». En forçant les modèles à sélectionner parmi un ensemble de nœuds valides, le système peut camoufler des erreurs contextuelles sous forme d'étapes valides.

Les auteurs soutiennent que :

1. La fiabilité ne peut être inférée à partir de faibles taux de FA : Un modèle avec un faible taux de fabrication peut rester hautement peu fiable en raison d'un taux élevé de mappage forcé.
2. Les garde-fous standards sont insuffisants : Comme les étapes de FM sont traçables jusqu'au manuel et structurellement valides, elles échappent à la détection standard de l'hallucination.
3. L'évaluation doit mesurer la sécurité de l'échec : L'évaluation des systèmes de conseil nécessite de mesurer non seulement la conformité, mais aussi la manière dont un modèle échoue de façon sécurisée lorsque la réalité diverge du manuel.
4. La sélection de modèle n'est pas une solution miracle : Ni l'échelle du modèle, ni l'architecture orientée vers le raisonnement ne prédisent de manière définitive la fiabilité hors procédure ; dans certains cas, les modèles de raisonnement présentent une tendance inhabituellement basse à l'abstention.

L'étude conclut que un déploiement robuste nécessite des couches de vérification externes capables d'évaluer l'implication contextuelle, plutôt que de compter uniquement sur les modèles génératifs pour distinguer les entrées ambiguës des entrées véritablement hors procédure.