InsightX Agent: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis

Dit artikel introduceert InsightX Agent, een innovatief LMM-gebaseerd agentisch raamwerk dat de Sparse Deformable Multi-Scale Detector en het Evidence-Grounded Reflection-tool combineert om betrouwbare, interpreteerbare en interactieve X-ray NDT-analyses te leveren met een hoge detectienauwkeurigheid op de GDXray+-dataset.

De kern

De "Slimme Inspecteur" die niet alleen kijkt, maar ook nadenkt

Stel je voor dat je een zeer dure, complexe machine moet controleren op verborgen gebreken, zoals een vliegtuigvleugel of een auto-onderdeel. Je kunt de binnenkant niet zien, dus je gebruikt een röntgenfoto. Vroeger keek een menselijke expert urenlang naar deze foto's, maar dat is vermoeiend, duur en soms onnauwkeurig door vermoeidheid.

Vervolgens kwamen er computers die dit konden. Maar die oude computers waren als automaten: ze zagen een vlekje en riepen direct "Hier is een gebrek!" zonder te vertellen waarom ze dat dachten. Als de computer zich vergiste, wist de mens niet of hij het moest geloven of niet. Het was een "zwarte doos".

Nu hebben de onderzoekers van dit paper, INSIGHTX AGENT, een nieuwe oplossing bedacht. Ze hebben een systeem gemaakt dat werkt als een slimme, nadenkende assistent in plaats van een simpele automaat.

Hier is hoe het werkt, in drie simpele stappen:

1. De "Snelle Scherpschutter" (SDMSD)

Eerst is er een onderdeel dat we de "Snelle Scherpschutter" kunnen noemen. Dit is een zeer snelle computer die over de röntgenfoto vliegt en honderden mogelijke gebreken opmerkt.

• Analogie: Stel je voor dat deze schutter een camera heeft die over een drukke markt vliegt en direct roept: "Ik zie daar iets vreemds! En daar! En daar!" Hij is heel snel en ziet bijna alles, maar soms ziet hij ook een schaduwtje als een dief. Hij is goed in het vinden, maar niet altijd goed in het beoordelen.

2. De "Slimme Chef" (De LMM Agent)

Vervolgens komt de "Slimme Chef" in beeld. Dit is een groot, intelligent brein (een AI-model) dat de foto's en de lijst van de schutter bekijkt.

• Analogie: De Chef is als een ervaren detective die niet alleen naar de lijst kijkt, maar ook naar de foto zelf. Hij denkt: "De schutter zegt dat dit een gebrek is, maar als ik goed kijk, is dat eigenlijk gewoon een knoop in het metaal of een schaduw van de machine."

3. De "Gewetensvolle Controle" (EGR)

Dit is het meest unieke deel. De Chef gebruikt een proces dat we EGR noemen (Evidence-Grounded Reflection). Dit is als een checklist voor geweten. Voordat de Chef een oordeel velt, doorloopt hij vijf stappen:

1. Context: "Wat voor foto is dit eigenlijk?"
2. Analyse: "Kijk eens goed naar dit specifieke vlekje. Is het echt een gebrek?"
3. Fouten uitsluiten: "Is dit misschien gewoon ruis of een artefact?"
4. Vertrouwen herbekijken: "Was de schutter wel zeker genoeg? Moeten we de waarschuwing aanpassen?"
5. Kwaliteitscheck: "Zit alles kloppend? Is het verhaal logisch?"

Als de Chef twijfelt, zegt hij niet "Ja" of "Nee", maar: "Ik zie iets, maar ik ben niet 100% zeker. Laat een mens dit nog eens checken." Als hij zeker is, geeft hij een gedetailleerd verslag: "Hier is het gebrek, hier is de reden waarom ik denk dat het een gebrek is, en hier is hoe groot het is."

Waarom is dit zo speciaal?

• Geen "Blind Vertrouwen": Oude systemen gaven alleen coördinaten (bijv. "x=100, y=200"). INSIGHTX AGENT geeft een verhaal. Het legt uit waarom het iets ziet. Dit bouwt vertrouwen op bij de menselijke operator.
• Interactie: Je kunt tegen het systeem praten. Je kunt vragen: "Is dit gevaarlijk?" of "Waarom denk je dat dit een barst is?". Het systeem kan antwoorden in menselijke taal.
• Minder Fouten: Omdat de "Chef" de "Schutter" controleert, worden er veel minder fouten gemaakt. De computer leert om te twijfelen waar het nodig is.

Het Resultaat

In tests met echte industriële foto's (van aluminium onderdelen) bleek dit systeem beter te zijn dan alle andere methoden. Het vond bijna alle gebreken (96,5% nauwkeurigheid) en gaf tegelijkertijd duidelijke uitleg.

Kortom: INSIGHTX AGENT is niet zomaar een camera die kijkt; het is een digitale inspecteur die kijkt, nadenkt, twijfelt waar nodig, en je in begrijpelijke taal vertelt wat hij ziet. Het maakt de wereld van industriële controle veiliger, sneller en vooral: begrijpelijker voor mensen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "INSIGHTX AGENT: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis", vertaald en samengevat in het Nederlands.

Titel: INSIGHTX AGENT: Een LMM-gebaseerd Agentic Framework met Geïntegreerde Tools voor Betrouwbare X-straal NDT-analyse

1. Het Probleem

Niet-destructieve testen (NDT), en specifiek X-straalinspectie, is cruciaal voor de industriële kwaliteitsborging. Echter, bestaande diep-leringsoplossingen (Deep Learning) voor defectdetectie hebben ernstige beperkingen:

• Gebrek aan interpretatie: Ze fungeren als "black boxes" die alleen coördinaten en betrouwbaarheidsscores输出 (output), zonder uitleg waarom een gebied als defect wordt gemarkeerd.
• Beperkte interactie: Operators kunnen niet vragen om verduidelijking of in dialoog treden met het systeem over twijfelachtige detecties.
• Zelfevaluatie: Bestaande systemen kunnen hun eigen fouten (zoals vals-positieven) niet kritisch beoordelen of corrigeren.
• Hallucinaties bij LMM's: Het direct toepassen van Large Multimodal Models (LMM's) voor visuele gronding (het direct voorspellen van coördinaten) leidt vaak tot onnauwkeurige locaties of hallucinaties, vooral bij kleine, dichte defecten in complexe industriële beelden.

2. Methodologie: Het INSIGHTX AGENT Framework

Het paper introduceert INSIGHTX AGENT, een nieuw framework dat een Large Multimodal Model (LMM) positioneert als een centrale "orkestreerder" in plaats van een passieve analyzer. Het systeem werkt niet als een lineaire pijplijn, maar als een agent die tools aanroept en redeneert.

De architectuur bestaat uit drie kerncomponenten:

A. LMM Agent Core (De Orkestreerder)

• Doel: Begrijpt gebruikersintenties, roept tools aan en voert kritische reflectie uit.
• Aanpassing: Gebruikt LoRA (Low-Rank Adaptation) om een basis-LMM (Qwen2.5-VL, 7B parameters) te fine-tunen op NDT-domeinkennis zonder catastrofale vergeetachtigheid.
• Training: Bestaat uit twee fasen:
  1. Domeinkennis: Leren van NDT-terminologie en diagnostische principes via vraag-antwoordparen.
  2. Structuur-uitlijning: Imitatieleren via sjablonen om gestructureerde, industriële rapportages te genereren (detectie, bewijs, beoordeling, aanbeveling).

B. SDMSD (Sparse Deformable Multi-Scale Detector)

• Rol: Een gespecialiseerde defectdetector die nauwkeurige "hypothetische" defectlocaties genereert.
• Werking:
  • Genereert eerst een dichte set van defectvoorstellingen (proposals) uit multi-schaal feature maps.
  • Gebruikt Non-Maximum Suppression (NMS) om deze te verspillen tot een spaarzame, hoogwaardige set.
  • Past Deformable Attention toe om zich te focussen op kleine en dicht op elkaar gepakte defecten, wat essentieel is voor X-straalbeelden.
• Output: Bounding boxes en confidence scores die worden behandeld als hypothese die verder geverifieerd moeten worden.

C. EGR (Evidence-Grounded Reflection)

• Rol: Een mechanisme voor kritische validatie en verfijning van de SDMSD-hypothese.
• Proces: De LMM-agent doorloopt een gestructureerde keten van zes stappen:
  1. Contextbeoordeling: Kwaliteit van het beeld en algemene patronen analyseren.
  2. Individuele defectanalyse: Visuele verificatie, beoordeling van de bounding box en betrouwbaarheid.
  3. Vals-positief eliminatie: Systematisch verwijderen van detecties die artefacten, ruis of normale structuren zijn.
  4. Vertrouwen herkalibratie: Aanpassen van de confidence scores op basis van visueel bewijs.
  5. Kwaliteitsborging: Controle op consistentie en volledigheid.
  6. Output generatie: Het produceren van een gestructureerd rapport met reflectielogboeken.
• Voordeel: Dit proces elimineert hallucinaties en zorgt voor een "evidence-based" diagnose, waarbij twijfelachtige gevallen als "onzeker" worden gemarkeerd in plaats van verworpen of onterecht bevestigd.

3. Belangrijkste Bijdragen

1. Nieuw Paradigma: Verschuiving van passieve data-verwerking naar actief, tool-gedreven redeneren voor NDT.
2. Geïntegreerde Architectuur: De combinatie van een gespecialiseerde detector (SDMSD) voor precisie en een reflectie-mechanisme (EGR) voor betrouwbaarheid, gecoördineerd door een LMM.
3. Interpretatie en Interactie: Het systeem biedt niet alleen detecties, maar ook uitleg, bewijsvoering en de mogelijkheid voor operators om vragen te stellen, wat vertrouwen opbouwt.
4. Robuustheid: Het framework is ontworpen om om te gaan met de complexiteit van industriële X-straalbeelden, inclusief kleine en dichte defecten.

4. Resultaten

De experimenten zijn uitgevoerd op de GDXray+ dataset (gietstukinspectie).

• Prestaties: INSIGHTX AGENT bereikte een F1-score van 96,54%, wat een verbetering is ten opzichte van state-of-the-art methoden zoals Faster R-CNN, YOLOX-s en DINO.
• Ablatiestudies:
  • Alleen LMM (directe gronding): Slechte prestaties (F1 ~2%) door onnauwkeurige locaties.
  • Alleen SDMSD: Hoge recall (98,94%) maar lagere precisie (92,68%) door vals-positieven.
  • Volledig Framework: De combinatie verhoogde de precisie naar 94,77% (door EGR vals-positieven te verwijderen) terwijl de recall hoog bleef (98,38%), wat resulteerde in de hoogste F1-score.
• Stabiliteit: Het framework toonde de laagste standaardafwijkingen, wat wijst op grotere stabiliteit dan traditionele methoden.
• Kwalitatieve Analyse: Case studies tonen aan dat het systeem complexe scenario's (zoals overlappende detecties of subtiele defecten) correct kan redeneren, vals-positieven verwijdert en twijfelachtige gevallen veilig markeert voor menselijke inspectie.

5. Betekenis en Toekomstperspectief

• Vertrouwen in AI: Door transparante, evidence-based redenering en interactieve mogelijkheden, verhoogt INSIGHTX AGENT het vertrouwen van operators in AI-gestuurde inspectiesystemen.
• Industriële Toepasbaarheid: Het is ideaal voor kritieke toepassingen waar diagnose-transparantie en veiligheid leidend zijn, zelfs als de inferentie-tijd (ca. 45-60 seconden per beeld door de LMM) iets trager is dan real-time systemen.
• Beperkingen: Huidige beperkingen zijn de rekentijd (latency) en de validatie op specifieke aluminium-gietstukken. Toekomstig werk richt zich op het versnellen van het model (bijv. via distillatie) en het testen op andere materialen (staal, composieten).

Conclusie: INSIGHTX AGENT vertegenwoordigt een fundamentele verschuiving in NDT-automatisering, waarbij AI niet alleen detecteert, maar ook "denkt", valideert en communiceert, waardoor het een betrouwbare partner wordt voor menselijke inspecteurs in veiligheidskritieke omgevingen.