InsightX Agent: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis

Der Artikel stellt InsightX Agent vor, ein neuartiges Framework auf Basis von Large Multimodal Models, das durch die Koordination eines Sparse Deformable Multi-Scale Detektors und eines evidenzbasierten Reflexionswerkzeugs zuverlässige, interpretierbare und interaktive Röntgen-NDT-Analysen ermöglicht.

Das Wesentliche

INSIGHTX AGENT: Der „Super-Inspektor" mit einem klaren Verstand

Stellen Sie sich vor, Sie arbeiten in einer riesigen Fabrik, die hochpräzise Metallteile herstellt – etwa für Flugzeuge oder Autos. Bevor diese Teile in die Welt hinausgehen, müssen sie auf winzige Risse oder Fehler im Inneren untersucht werden. Dazu nutzt man Röntgenbilder. Früher haben das menschliche Experten gemacht, die stundenlang durch die Bilder starrten. Heute nutzen viele Firmen künstliche Intelligenz (KI), die automatisch nach Fehlern sucht.

Aber hier liegt das Problem: Die meisten heutigen KI-Systeme sind wie blinde Hunde. Sie zeigen Ihnen einen Punkt auf dem Bild und sagen: „Hier ist ein Fehler!" Aber sie können nicht erklären, warum sie das denken. Sie sind wie ein Blackbox-Magier, der einfach eine Antwort raushaut, ohne den Weg dorthin zu zeigen. Das macht die Menschen misstrauisch. Was, wenn die KI sich nur etwas einbildet (ein sogenanntes „Halluzinieren")?

Genau hier kommt INSIGHTX AGENT ins Spiel. Die Forscher haben ein neues System entwickelt, das nicht nur schaut, sondern auch denkt, hinterfragt und erklärt.

Die drei Hauptakteure im Team

Man kann sich INSIGHTX AGENT wie ein hochspezialisiertes Detektiv-Team vorstellen, das aus drei verschiedenen Charakteren besteht:

1. Der „Schnelle Sucher" (SDMSD)
Stellen Sie sich einen sehr schnellen, aber etwas ungeduldigen Assistenten vor. Dieser Assistent (der Sparse Deformable Multi-Scale Detector) scannt das Röntgenbild blitzschnell ab. Er ist extrem gut darin, überall nach verdächtigen Stellen zu suchen, auch bei winzigen Fehlern.

• Das Problem: Er ist so eifrig, dass er manchmal Dinge findet, die gar keine Fehler sind (z. B. Schatten oder normale Unebenheiten). Er wirft einfach viele Verdächtige auf den Tisch.
• Die Metapher: Er ist wie ein Hund, der bei jedem kleinen Geräusch bellt. Er findet alles, ist aber nicht immer sicher, ob es wirklich ein Einbrecher ist.

2. Der „Kluger Chef" (LMM-Agent)
Dies ist das Gehirn des Systems. Es basiert auf einem großen Sprachmodell (einem LMM), das wie ein erfahrener Ingenieur mit einem riesigen Wissen über Fehler und Materialien ist.

• Die Aufgabe: Dieser Chef nimmt die Liste des „schnellen Suchers" und sagt: „Okay, lass uns das genauer ansehen." Er ist nicht nur ein passiver Betrachter, sondern ein aktiver Dirigent, der die Werkzeuge steuert.

3. Der „Kritische Prüfer" (EGR-Mechanismus)
Das ist das Herzstück der Innovation. Stellen Sie sich einen sehr strengen Qualitätskontrolleur vor, der eine Checkliste hat. Dieser Prüfer (der Evidence-Grounded Reflection) geht jeden einzelnen „Verdächtigen" aus der Liste des Suchers durch und stellt ihm Fragen:

• „Siehst du das hier wirklich?"
• „Passt die Form des Fehlers zu dem, was wir kennen?"
• „Ist das vielleicht nur ein Schatten?"
• „Sind wir uns sicher?"

Wenn der Prüfer merkt, dass der Sucher sich geirrt hat (ein „falscher Alarm"), streicht er den Fehler aus der Liste. Wenn er unsicher ist, sagt er: „Das ist verdächtig, aber wir brauchen einen menschlichen Experten, um das zu bestätigen."

Wie funktioniert das im Alltag?

Stellen Sie sich vor, Sie fragen das System: „Was ist mit diesem Röntgenbild?"

• Ein altes System würde antworten: „Fehler gefunden bei Koordinaten X, Y. Wahrscheinlichkeit: 85%." (Und dann warten Sie, ob es stimmt).
• INSIGHTX AGENT antwortet wie ein erfahrener Kollege:

  „Ich habe drei verdächtige Stellen gefunden.

  1. Stelle A: Das ist definitiv ein Riss. Er hat die typische Form und passt genau in die Struktur. Ich bin mir sehr sicher.
  2. Stelle B: Hier sieht es auch dunkel aus, aber es könnte nur ein Schatten sein. Ich habe es genauer geprüft, und die Form passt nicht zu einem echten Fehler. Ich streiche es aus der Liste.
  3. Stelle C: Das ist ein kleiner Fleck. Er ist sehr undeutlich. Ich bin mir nicht 100% sicher. Ich markiere ihn als 'unsicher' und schlage vor, dass ein Mensch kurz nachschaut."

Warum ist das so besonders?

1. Vertrauen durch Erklärung: Das System sagt nicht nur „Ja/Nein", sondern erklärt seine Gedanken. Es zeigt Ihnen die Beweise. Das ist wie der Unterschied zwischen einem Richter, der einfach ein Urteil fällt, und einem, der seine Argumente vorliest.
2. Keine Panikmache: Durch den kritischen Prüfer werden viele falsche Alarme (die den Menschen nerven würden) herausgefiltert.
3. Sicherheitsnetz: Wenn das System unsicher ist, gibt es nicht einfach eine falsche Antwort, sondern sagt offen: „Ich bin mir nicht sicher, bitte prüfen Sie das." Das verhindert, dass fehlerhafte Teile durchrutschen.

Fazit

INSIGHTX AGENT ist wie ein Super-Inspektor, der die Schnelligkeit einer Maschine mit dem kritischen Denken und der Erfahrung eines menschlichen Experten verbindet. Er ist nicht nur ein Werkzeug, das Daten verarbeitet, sondern ein Partner, der mit Ihnen spricht, seine Entscheidungen begründet und so hilft, sicherzustellen, dass nur die besten und sichersten Teile die Fabrik verlassen.

Es ist ein großer Schritt weg von „blindem Vertrauen" in die KI hin zu einer kooperativen, verständlichen und zuverlässigen Zusammenarbeit zwischen Mensch und Maschine.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „INSIGHTX AGENT: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis" auf Deutsch:

1. Problemstellung

Die zerstörungsfreie Prüfung (NDT), insbesondere die Röntgeninspektion, ist für die industrielle Qualitätssicherung unverzichtbar. Bestehende KI-basierte Ansätze, die auf Deep Learning (DL) und Convolutional Neural Networks (CNNs) beruhen, weisen jedoch erhebliche Mängel auf:

• Fehlende Interpretierbarkeit: Sie funktionieren oft als „Black Box" und liefern nur Koordinaten und Konfidenzwerte ohne Erklärung, warum ein Bereich als defekt markiert wurde.
• Mangelnde Interaktivität: Bediener können nicht mit dem System dialogisieren, um Unklarheiten zu klären oder Kontext zu erhalten.
• Fehlende Selbstreflexion: Herkömmliche Modelle können ihre eigenen Vorhersagen nicht kritisch hinterfragen, was zu falschen Positiven (Halluzinationen) oder dem Übersehen subtiler Defekte führt.
• Einschränkungen von LMMs: Der direkte Einsatz von Large Multimodal Models (LMMs) zur reinen Bildanalyse führt oft zu ungenauen Lokalisierungen oder Halluzinationen, da pixelgenaue Annotationen für das Training oft fehlen.

2. Methodik: INSIGHTX AGENT

Das Paper stellt INSIGHTX AGENT vor, ein neuartiges Framework, das ein Large Multimodal Model (LMM) nicht als passiven End-Interpreter, sondern als zentralen Orchestrierer (Agent) einsetzt. Dieser Agent koordiniert spezialisierte Werkzeuge, um eine aktive, evidenzbasierte Diagnose durchzuführen.

Die Architektur besteht aus drei Hauptkomponenten:

A. Domain Adaptation des LMM-Kerns

Um das LMM (basierend auf Qwen2.5-VL, 7 Mrd. Parameter) für die NDT-Domäne zu adaptieren, wird Low-Rank Adaptation (LoRA) verwendet. Dies vermeidet das „Catastrophic Forgetting" und ist rechnerisch effizient. Das Training erfolgt in zwei Stufen:

1. Wissensinjektion: Fine-Tuning auf einem Korpus mit 1.000 Frage-Antwort-Paaren zu NDT-Terminologie, Materialkunde und Diagnoseprinzipien.
2. Strukturelle Ausrichtung: Imitationslernen mittels vordefinierter Antwortvorlagen, die evidenzbasierte, quantitative und handlungsorientierte Diagnoseberichte erzwingen.

B. Sparse Deformable Multi-Scale Detector (SDMSD)

Dies ist ein spezialisiertes Detektionswerkzeug, das als Hypothesengenerator fungiert.

• Funktionsweise: Es generiert dichte Vorschläge für Defektregionen aus multi-skalierten Feature-Maps (inspiriert von Transformer-basierten Detektoren).
• Verdichtung: Durch Non-Maximum Suppression (NMS) werden redundante Vorschläge entfernt, um einen spärlichen, hochwertigen Kandidatensatz zu erhalten.
• Vorteil: Die Kombination aus deformierbarer Aufmerksamkeit und dem „Dense-to-Sparse"-Ansatz optimiert die Erkennung kleiner, dicht gepackter Defekte in Röntgenbildern bei hoher Recheneffizienz.

C. Evidence-Grounded Reflection (EGR)

Dies ist der Kernmechanismus zur Validierung und Verfeinerung. Der LMM-Agent führt einen strukturierten, sechsstufigen Reflexionsprozess durch, um die Vorschläge des SDMSD zu überprüfen:

1. Kontextbewertung: Analyse der Bildqualität und systemischer Muster.
2. Einzelne Defektanalyse: Visuelle Verifikation, Bewertung der Bounding-Box-Qualität und Konfidenzschätzung.
3. Eliminierung falsch-positiver Treffer: Systematische Ablehnung von Artefakten, Rauschen oder normalen Strukturen basierend auf Domänenwissen.
4. Konfidenz-Neukalibrierung: Anpassung der Konfidenzwerte basierend auf der Stärke der visuellen Evidenz.
5. Qualitätssicherung: Konsistenz- und Vollständigkeitsprüfung.
6. Ausgabe: Generierung strukturierter Berichte mit Reflexionsprotokollen.

3. Hauptbeiträge

1. Paradigmenwechsel: Einführung eines agentic Frameworks, das von passiver Datenverarbeitung zu aktivem, tool-getriebenem Schlussfolgern übergeht.
2. Architektur-Design: Entwicklung und Integration von SDMSD für präzise Lokalisierung und EGR für kritische Validierung ohne pixelgenaues Training des LMMs.
3. Interpretierbarkeit & Vertrauen: Das System liefert nicht nur Ergebnisse, sondern detaillierte Begründungen (Chain-of-Thought), die Bedienern helfen, Entscheidungen zu verstehen und zu validieren.
4. Interaktivität: Ermöglicht Dialoge mit dem System, um Unklarheiten zu klären oder spezifische Analysen anzufordern.

4. Ergebnisse

Die Evaluation erfolgte auf dem GDXray+-Datensatz (Gussinspektion von Aluminiumteilen).

• Leistungsmetriken: INSIGHTX AGENT erreicht einen F1-Score von 96,54 % (mit einer Standardabweichung von nur ±0,64 %), was die State-of-the-Art-Methoden (Faster R-CNN, YOLOX-s, DINO, Deformable DETR, PVTv2) signifikant übertrifft.
• Präzision vs. Recall: Durch die EGR-Mechanik verbessert sich die Präzision von 92,68 % (nur SDMSD) auf 94,77 %, während der Recall nur minimal von 98,94 % auf 98,38 % sinkt. Dies zeigt eine effektive Reduktion falsch-positiver Treffer.
• Stabilität: Das Framework weist im Vergleich zu reinen LMM-Ansätzen (die instabil waren) und Standard-Detektoren eine deutlich höhere Stabilität und Robustheit auf.
• Qualitative Analyse: Fallstudien zeigen, dass das System in der Lage ist, subtile Defekte als „unsicher" zu markieren (statt sie zu verwerfen) und redundante Detektionen intelligent zu bereinigen, was bei herkömmlichen Methoden oft zu Fehlern führt.

5. Bedeutung und Ausblick

INSIGHTX AGENT stellt einen bedeutenden Fortschritt in der automatisierten industriellen Inspektion dar:

• Vertrauenswürdigkeit: Durch die transparente Darstellung der Entscheidungsfindung (evidenzbasierte Reflexion) wird die Akzeptanz bei menschlichen Operateuren erhöht.
• Sicherheit: Die Fähigkeit, Unsicherheiten explizit zu kennzeichnen und Experten zur Überprüfung hinzuzuziehen, ist für sicherheitskritische Anwendungen (z. B. Luftfahrt, Automobilbau) essenziell.
• Zukunftspotenzial: Obwohl die Inferenzzeit durch den Reflexionsprozess höher ist als bei reinen Detektoren (ca. 45–60 Sekunden pro Bild für die vollständige Analyse), ist dies für Batch-Verarbeitung und detaillierte Qualitätskontrollen akzeptabel. Zukünftige Arbeiten zielen auf die Reduzierung der Latenz (z. B. durch Knowledge Distillation) und die Validierung an anderen Materialien (Stahl, Verbundwerkstoffe) sowie formale Benutzerstudien ab.

Zusammenfassend beweist das Paper, dass die Kombination aus spezialisierten Detektionswerkzeugen und der kognitiven Fähigkeit von LMMs zu einer neuen Generation von zuverlässigen, interpretierbaren und interaktiven NDT-Systemen führt.