InsightX Agent: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis

Cet article présente InsightX Agent, un cadre novateur basé sur un modèle multimodal large (LMM) qui orchestre un détecteur de défauts et un outil de réflexion ancrée dans les preuves pour fournir une analyse d'inspection non destructive par rayons X à la fois fiable, interprétable et interactive.

L'essentiel

🕵️‍♂️ INSIGHTX AGENT : Le Détective Ultra-Sage des Rayons X

Imaginez que vous devez inspecter des milliers de pièces métalliques (comme des roues de voiture ou des pièces d'avion) pour trouver des défauts invisibles à l'œil nu. Vous utilisez des rayons X, qui agissent comme une "vision aux rayons X" pour voir à l'intérieur du métal.

Le problème ? Les méthodes actuelles sont comme des robots un peu bêtes :

1. Ils voient beaucoup de choses, mais ils se trompent souvent (ils crient "C'est un défaut !" alors que c'est juste une ombre).
2. Ils ne peuvent pas vous expliquer pourquoi ils pensent que c'est un défaut.
3. Si vous leur posez une question, ils restent muets.

C'est là qu'intervient INSIGHTX AGENT. C'est une nouvelle invention qui transforme ce robot bête en un détective expert, capable de réfléchir et de discuter.

🧠 Le Cerveau : L'Agent "Orchestre"

Au lieu d'avoir un seul robot qui fait tout, INSIGHTX AGENT utilise un chef d'orchestre intelligent (un modèle d'intelligence artificielle avancé appelé LMM). Ce chef ne regarde pas directement l'image pour deviner, il utilise deux outils spécialisés pour faire son travail.

Pensez-y comme à un médecin expert qui ne se contente pas de regarder une radio :

• Il demande d'abord à un radiologue junior (l'outil SDMSD) de repérer tous les endroits suspects.
• Ensuite, il examine lui-même ces soupçons avec une loupe et un manuel de médecine (l'outil EGR) pour vérifier si c'est vraiment une maladie ou juste un faux-semblant.

🔍 Outil 1 : Le "Chasseur de Défauts" (SDMSD)

C'est le premier outil, le "junior". Son travail est de scanner l'image et de pointer du doigt tout ce qui pourrait être un défaut, même les plus petits.

• L'analogie : Imaginez un filet de pêche très fin qui capture absolument tous les poissons dans la mer, y compris les petits et les gros. Il ne rate rien, mais il attrape aussi beaucoup d'algues et de déchets. C'est très précis, mais il y a du "bruit".

🧐 Outil 2 : Le "Juge Réfléchi" (EGR)

C'est la partie magique. Une fois que le "Chasseur" a fait sa liste, le "Juge" (l'IA) prend le relais. Il ne se contente pas de regarder la liste ; il réfléchit à chaque point.
Il suit un processus en 5 étapes, comme un détective qui enquête :

1. Contexte : "Est-ce que l'image est claire ?"
2. Analyse : "Regarde ce point suspect. Est-ce que ça ressemble vraiment à une fissure ou juste à une tache d'huile ?"
3. Élimination : "Attends, ce 'défaut' est en fait une ombre normale de la pièce. Je le raye de la liste !" (C'est ici qu'il évite les fausses alarmes).
4. Confiance : "Je suis sûr à 100% pour celui-ci, mais seulement à 50% pour celui-là. Je vais le marquer comme 'à vérifier'."
5. Rapport : Il rédige un rapport clair pour l'humain.

💬 La Grande Innovation : La Conversation

Avant, si un inspecteur humain voyait un défaut bizarre, il devait deviner pourquoi l'ordinateur l'avait signalé. Avec INSIGHTX AGENT, l'ordinateur parle.

• L'inspecteur demande : "Pourquoi as-tu signalé ce défaut ?"
• L'Agent répond : "J'ai vu une zone sombre ici. Le Chasseur l'a repérée. Moi, le Juge, j'ai vérifié : ce n'est pas une ombre normale, c'est une vraie porosité. Mais attention, c'est petit, donc je suis un peu moins sûr. Je te conseille de vérifier avec une loupe."

C'est comme si vous aviez un collègue très intelligent à vos côtés qui ne se contente pas de pointer du doigt, mais qui vous explique son raisonnement, vous met en garde sur les zones floues et vous aide à prendre la bonne décision.

🏆 Pourquoi c'est génial ?

1. Moins d'erreurs : Grâce au "Juge Réfléchi", l'agent rejette les fausses alarmes (les algues dans le filet) que les autres systèmes garderaient.
2. Plus de confiance : On sait pourquoi il a pris sa décision. On ne fait plus confiance à une "boîte noire" magique.
3. Adaptabilité : Il peut discuter avec des experts ou des débutants, ajustant son langage selon qui lui pose la question.

⚖️ Le petit bémol (La réalité)

Ce système est très intelligent, mais il est aussi plus lent qu'un robot simple. Comme un détective qui réfléchit longuement avant de conclure, il prend un peu plus de temps (quelques dizaines de secondes par image) pour donner son verdict final.

• Pourquoi c'est acceptable ? Dans l'industrie, il vaut mieux prendre 30 secondes de plus pour être certain qu'une pièce est sûre, plutôt que de la produire vite et de risquer un accident. C'est la différence entre courir et être prudent.

En résumé

INSIGHTX AGENT n'est pas juste un logiciel de détection. C'est un partenaire de travail intelligent qui combine la rapidité d'un scanner avec la sagesse d'un expert humain. Il ne se contente pas de voir ; il comprend, il doute, il vérifie et il explique. C'est une révolution pour rendre l'industrie plus sûre et plus transparente.

Résumé technique

Voici un résumé technique détaillé du papier « INSIGHTX AGENT: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis », accepté par IEEE Transactions on Reliability.

1. Problématique

Le contrôle non destructif (CND), et spécifiquement l'inspection par rayons X, est crucial pour assurer la sécurité et l'intégrité des composants industriels (aérospatial, fabrication, construction). Cependant, les approches actuelles basées sur l'apprentissage profond (Deep Learning) présentent des limites majeures :

• Manque d'interprétabilité : Les modèles fonctionnent souvent comme des « boîtes noires », fournissant des coordonnées de boîtes englobantes sans expliquer pourquoi une région est considérée comme défectueuse.
• Absence d'interactivité : Les opérateurs ne peuvent pas interroger le système pour clarifier des détections ambiguës ou obtenir des détails contextuels.
• Fiabilité et auto-évaluation : Les systèmes existants manquent de capacité d'auto-évaluation critique, ce qui entraîne des faux positifs et une méfiance de la part des opérateurs.
• Limites des LMMs directs : L'utilisation directe de Modèles Multimodaux à Grande Échelle (LMM) pour la localisation de défauts souffre souvent d'« hallucinations » (localisations imprécises) et nécessite des jeux de données annotés pixel par pixel, coûteux et difficiles à obtenir dans l'industrie.

2. Méthodologie : INSIGHTX AGENT

L'article propose INSIGHTX AGENT, un nouveau cadre agentic basé sur un LMM, conçu pour orchestrer des outils spécialisés plutôt que de traiter passivement les données. L'architecture repose sur trois piliers principaux :

A. Adaptation de Domaine du Cœur LMM

Pour adapter un LMM généraliste (Qwen2.5-VL, 7B paramètres) aux besoins spécifiques du CND, les auteurs utilisent :

• LoRA (Low-Rank Adaptation) : Pour un fine-tuning efficace sans oublier les capacités de raisonnement général.
• Curriculum d'apprentissage en deux étapes :
  1. Injection de connaissances déclaratives : Apprentissage sur un corpus de 1 000 paires question-réponse couvrant la terminologie et les principes du CND.
  2. Alignement procédural : Utilisation de l'apprentissage par imitation sur des rapports d'analyse structurés pour garantir que les sorties suivent des protocoles industriels rigoureux (Evidence, Assessment, Recommendation).

B. Détecteur SDMSD (Sparse Deformable Multi-Scale Detector)

Cet outil est chargé de la localisation précise des défauts.

• Stratégie Dense-to-Sparse : Il génère d'abord des propositions denses à partir de cartes de caractéristiques multi-échelles, puis les sparsifie via une suppression non-maximum (NMS) pour éliminer les redondances.
• Attention Déformable : Il utilise des mécanismes d'attention déformable pour se concentrer efficacement sur les cibles petites et densément groupées, typiques des images radiographiques, tout en maintenant une efficacité computationnelle.
• Rôle : Il fournit des hypothèses de défauts (propositions) qui sont traitées comme des candidats à valider, et non comme des diagnostics finaux.

C. Mécanisme EGR (Evidence-Grounded Reflection)

C'est le cœur du raisonnement de l'agent. L'EGR guide le LMM à travers un processus de validation séquentiel en six étapes pour critiquer et affiner les propositions du SDMSD :

1. Évaluation du contexte : Analyse de la qualité de l'image et identification des motifs systématiques.
2. Analyse individuelle des défauts : Vérification visuelle, évaluation de la boîte englobante et de la confiance.
3. Élimination des faux positifs : Rejet des artefacts, du bruit ou des structures normales basés sur la connaissance du domaine.
4. Recalibrage de la confiance : Ajustement dynamique des scores de confiance basé sur la force des preuves visuelles.
5. Assurance qualité : Vérification de la cohérence, de l'exhaustivité et de la raisonabilité globale.
6. Génération de sortie : Production de rapports structurés avec des traces de raisonnement explicites.

3. Contributions Clés

1. Nouveau Paradigme Agentic : Passage d'un traitement de données passif à un raisonnement actif orchestré par un LMM, intégrant des outils spécialisés pour le CND.
2. Architecture Hybride : Combinaison innovante d'un détecteur de vision par ordinateur optimisé (SDMSD) pour la précision spatiale et d'un mécanisme de réflexion (EGR) pour la validation sémantique et la réduction des erreurs.
3. Interprétabilité et Interactivité : Le système fournit non seulement des résultats, mais aussi des logs de réflexion détaillés et permet un dialogue interactif avec l'opérateur pour clarifier les incertitudes.
4. Validation Rigoureuse : Mise en place d'un protocole d'évaluation sur le jeu de données GDXray+ démontrant la supériorité de l'approche par rapport aux méthodes traditionnelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données GDXray+ (inspection de pièces moulées en aluminium).

• Performance de Détection :
  • INSIGHTX AGENT atteint un F1-score de 96,54 %, surpassant les méthodes de l'état de l'art (Faster R-CNN, YOLOX-s, DINO, etc.).
  • Il obtient une précision de 94,77 % et un rappel de 98,38 %.
  • L'ablation study montre que l'ajout du module EGR améliore la précision de +2,09 % par rapport au SDMSD seul, au prix d'une légère baisse de rappel (0,56 %), ce qui est acceptable pour réduire les faux positifs.
• Stabilité : Le framework présente des écarts-types très faibles, indiquant une grande robustesse.
• Qualité et Interprétabilité :
  • Contrairement aux méthodes classiques qui donnent uniquement des coordonnées, INSIGHTX AGENT génère des rapports expliquant la nature du défaut, la force des preuves visuelles et le niveau de confiance.
  • Le mécanisme EGR réussit à rejeter les détections redondantes et à identifier les cas incertains pour une révision humaine, évitant ainsi les erreurs critiques.

5. Signification et Impact

• Transformation Industrielle : Ce travail marque un changement de paradigme dans l'automatisation du CND, passant de la simple détection à l'assistance diagnostique intelligente.
• Confiance Opérateur : En rendant le processus de décision transparent et vérifiable, le système renforce la confiance des opérateurs, un facteur critique pour l'adoption de l'IA dans les environnements de sécurité critique.
• Gestion de l'Incertitude : La capacité du système à flaguer les cas « incertains » plutôt que de les rejeter ou de les accepter aveuglément offre une approche plus sûre pour les inspections de haute valeur.
• Limites et Perspectives : Le principal compromis est le temps d'inférence (environ 45-60 secondes par image pour l'étape EGR), ce qui le rend moins adapté aux lignes de production à très haut débit en temps réel. Les travaux futurs visent à optimiser la latence (distillation de modèle, quantification) et à étendre la généralisation à d'autres matériaux et scénarios.

En résumé, INSIGHTX AGENT démontre que l'intégration de modèles multimodaux de grande taille dans un cadre agentic, couplée à des outils de détection spécialisés et à des mécanismes de réflexion, permet de surmonter les barrières de fiabilité et d'interprétabilité qui freinaient jusqu'ici l'adoption de l'IA dans l'inspection industrielle par rayons X.