Technisches Resümee: SETA – Statistische Fehlerattribution für zusammengesetzte KI-Systeme

1. Problemstellung

Moderne KI-Systeme werden zunehmend als Compound AI Systems (CAS) konzipiert: komplexe Pipelines, die aus spezialisierten Modellen, Retrievern und Softwarekomponenten bestehen, anstatt aus monolithischen Netzwerken. Während diese Modularität die Entwicklung erleichtert, führt sie signifikante Herausforderungen bei der Testung, Fehlersuche und Gewährleistung der Sicherheit ein. Kleine, lokalisierte Fehler in Upstream-Komponenten (z. B. Datendrift, Modell-Fehlkalibrierung) können sich durch die Pipeline fortpflanzen und zu katastrophalen systemweiten Ausfällen führen.

Bestehende Robustheitstests stehen vor zwei primären Einschränkungen:

1. End-to-End (E2E) Testing: Behandelt das System als Black Box. Es kann zwar identifizieren, dass ein Fehler aufgetreten ist, aber nicht den Fehler einer spezifischen internen Komponente zuordnen.
2. Isolierte Komponententestung (Isolated Component Testing, ICT): Testet Module isoliert, versäumt es jedoch, emergente Fehler zu erkennen, die aus dynamischen Interaktionen zwischen Modulen entstehen, oder zu analysieren, wie Fehler durch die Pipeline propagieren.

Bestehende Werkzeuge (z. B. adversarielle Angriffe wie FGSM, formale Verifizierungswerkzeuge wie Reluplex oder Coverage-basierte Werkzeuge wie DeepXplore) sind weitgehend für Single-Network-Modelle konzipiert. Ihnen fehlt die Fähigkeit zur feingranularen Fehlerlokalisierung innerhalb zusammengesetzter Pipelines oder dazu, zu erklären, warum ein Fehler innerhalb des Ausführungskontexts aufgetreten ist. Zudem bleibt das „Test Oracle Problem“ – die Schwierigkeit, exakte korrekte Ausgaben für Zwischenkomponenten ohne Ground Truth zu definieren – eine Barriere.

2. Methodik: Das SETA-Framework

Die Autoren schlagen SETA (Statistical Fault Attribution) vor, ein modulares Framework, das Metamorphic Testing (MT) mit Execution Trace Analysis kombiniert. SETA operiert ohne die Notwendigkeit expliziter Ground-Truth-Oracles, indem es Verhaltensspezifikationen durch metamorphe Relationen definiert.

2.1 Metamorphic Relations (MRs) als Pseudo-Oracles

SETA adressiert das Oracle-Problem, indem es die Erhaltung benutzerdefinierter Eigenschaften (Metamorphic Relations) über Eingabetransformationen hinweg verifiziert, anstatt einzelne Input-Output-Paare zu prüfen.

• Definition: Eine MR spezifiziert die erwartete Beziehung zwischen dem Output eines Systems für einen Quell-Input $x$ und einen perturbierten Input $\tilde{x} = g(x)$.
• Generische Formulierung: Relationen werden unter Verwendung der Kronecker-Delta-Funktion ($\delta$) für Gleichheitsbedingungen und der Heaviside-Sprungfunktion ($H$) für Ungleichheitsbedingungen definiert.
• Aufgabenspezifische MRs: Das Framework definiert MRs für vier zentrale Vision-Aufgaben:
  • Bildklassifizierung: Invarianz von Labels oder beschränkte $L_\infty$-Norm-Differenzen in Wahrscheinlichkeitsverteilungen unter räumlichen Transformationen.
  • Objektlokalisierung: Constraints auf die Intersection over Union (IoU) zwischen vorhergesagten und Ground-Truth-Bounding-Boxes.
  • Objekterkennung: Eine Kombination aus Klassifizierungs- und Lokalisierungs-Constraints angewendet auf Mengen detektierter Objekte.
  • Bildsegmentierung: Pixel-Ebene-Äquivalenz oder relaxierte IoU-basierte Überlappungs-Constraints für semantische Masken.
• Composite Metamorphic Relations (CMRs): Für komplexe Komponenten werden mehrere einzelne MRs via logischer Konjunktion (Produktoperator) zu einem einzelnen Score ($S_i$) kombiniert. Eine Komponente gilt nur dann als korrekt, wenn alle konstituierenden Relationen erfüllt sind.

2.2 State-Based Execution Trace Analysis

SETA modelliert das Compound AI System als Zustandsübergangssystem, wobei Zustände Rechenmodule repräsentieren.

• Execution Trace Tree ($T(x)$): Während der Inferenz instrumentiert das Framework das System, um einen dynamischen Ausführungs-Graphen aufzuzeichnen. Für jeden Input $x$ und dessen perturbierte Variante $\tilde{x}$ konstruiert es einen Baum, der Folgendes erfasst:
  • Aktivierte Module.
  • Input/Output-Tensoren.
  • Routing-Entscheidungen (welche Downstream-Module aufgerufen werden).
  • Ergebnisse der Scoring-Funktion ($S_q$), die Referenz- und perturbierte Durchläufe vergleichen.
• Trace Alignment: Das Framework gleicht den Trace des perturbierten Inputs gegen den Referenz-Trace ab, um Abweichungen in den Aktivierungssets zu erkennen (z. B. ein Modul, das in einem, aber nicht im anderen getriggert wurde) oder Inkonsistenzen in den Outputs.

2.3 Statistical Fault Attribution

Um zwischen dem ersten Fehlerpunkt und der Ursache (Root Cause) zu unterscheiden (welche eine Upstream-Fehler sein kann, der propagiert wurde), nutzt SETA einen statistischen Attributionsmechanismus.

• Failure Contribution (FC) Score: Das Framework definiert eine Zufallsvariable $Z_i$, welche die Abweichung des Moduls $i$ darstellt. Der FC-Score für Modul $i$ ist die erwartete Abweichung unter der Bedingung eines systemweiten Fehlers:
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  Dies misst, wie häufig eine Komponente ihre Spezifikation verletzt, gegeben dass das gesamte System fehlgeschlagen ist.
• Attributionsgewichte: Die Scores werden über alle Module normalisiert, um interpretierbare Attributionsgewichte ($\alpha_i$) abzuleiten, welche den relativen Beitrag jeder Komponente zur Unzuverlässigkeit des Systems quantifizieren.
• Algorithmus: Der Prozess beinhaltet das Iterieren durch einen Datensatz und ein Perturbationsset, das Aufzeichnen von Traces, das Berechnen von System-Scores und die Aggregation von Abweichungen, um einen normalisierten Attributionsvektor zu erzeugen.

3. Kernbeiträge

1. Modulares Framework: Schlägt SETA vor, welches Metamorphic Testing mit Execution Trace Analysis integriert, um Fehler in komplexen KI-Pipelines durch empirische Verfolgung der Perturbationspropagation zu lokalisieren.
2. Oracle-freie Spezifikationen: Unterstützt skalierbare, testbare Abstraktionen für Black-Box-Modelle durch die Definition von Verhaltensspezifikationen via Metamorphic Relations.
3. Erweiterbarkeit: Aufgrund seines modularen Designs können Benutzer unterschiedliche Klassen von Metamorphic Relations definieren und einfügen, was die Interpretierbarkeit in opaken Systemen unterstützt.
4. Feingranulare Analyse: Demonstriert die Fähigkeit, Fehlerursprünge zu identifizieren und verborgene Schwachstellen in mehrstufigen Pipelines aufzudecken, an denen traditionelle Werkzeuge scheitern.

4. Experimentelle Ergebnisse

Das Framework wurde an zwei unterschiedlichen Systemen evaluiert:

1. Autonomes Schieneninspektions-Visionssystem: Ein reales System mit 6 Modulen (1 Objekterkennung, 5 Klassifizierer), das Schienenbilder verarbeitet.
   • Setup: Getestet gegen 15 Bildkorruptionstechniken (z. B. Nebel, Schnee, Bewegungsunschärfe) aus der imagecorruptions-Bibliothek.
   • Ergebnisse: SETA identifizierte erfolgreich, dass das Objekterkennungsmodul ($f_0$) hochsensibel gegenüber Nebel und Bewegungsunschärfe ist, während nachgelagerte Klassifizierer variierende Robustheiten zeigten. Es berechnete Attributionsscores ($\alpha_i$), die spezifische Module (z. B. $f_1$ und $f_3$) als primäre Beitragszahler zu Systemfehlern unter bestimmten Perturbationen hervorhoben.
2. Ensemble-Klassifizierungsmodell (CIFAR-10): Ein Sanity Check unter Verwendung eines Ensembles von CNNs (ResNet18, VGG16, Custom CNN).
   • Ergebnisse: Die von SETA vorhergesagten Genauigkeiten der einzelnen Modelle lagen innerhalb von 2-3 % der tatsächlichen Genauigkeiten und identifizierten das "Custom CNN" korrekt als das am schlechtesten performende Modell.
3. OCR-System: Eine textbasierte Pipeline unter Verwendung von EasyOCR.
   • Ergebnisse: Das Framework wurde unter Verwendung der Levenshtein-Distanz als Metamorphic Relation angepasst. Es konnte die Robustheit erfolgreich quantifizieren und Fehler anhand von Textsequenzabweichungen spezifischen Modulen zuordnen, was die Anwendbarkeit über Vision-Pipelines hinaus demonstriert.

5. Bedeutung und Ansprüche

Das Paper positioniert SETA als einen Proof-of-Concept für die Diagnose emergenter Fehler in Compound AI Systems. Seine Bedeutung liegt in der Überbrückung der Lücke zwischen End-to-End-Testing und isolierter Komponententestung.

• Diagnostische Präzision: Im Gegensatz zu Werkzeugen, die lediglich feststellen, dass ein Fehler aufgetreten ist, bietet SETA eine statistische Attribution darüber, welches Modul am meisten verantwortlich ist, und leitet Ingenieure zu vulnerablen Submodulen.
• Skalierbarkeit: Durch die Verwendung von Metamorphic Relations umgeht es die Notwendigkeit von Ground-Truth-Oracles, was die Anwendung auf komplexe, reale Pipelines ermöglicht, in denen für Zwischenschritte keine Ground Truth verfügbar ist.
• Limitierungen und zukünftige Arbeit: Die Autoren räumen bescheiden ein, dass die aktuelle Attribution korrelativ, nicht kausal ist. Hohe Scores deuten auf eine Assoziation mit dem Fehler hin, beweisen aber nicht definitiv die Kausalität. Die Präzision hängt von der Vollständigkeit der handgefertigten Metamorphic Relations ab. Zukünftige Arbeiten zielen darauf ab, kausale Inferenz, Programmsynthese für die automatische MR-Generierung zu integrieren und das Framework auf multimodale sowie Reinforcement-Learning-Systeme auszuweiten.

Zusammenfassend etabliert SETA eine Grundlage für kompositionelles Testen und erklärbare Fehlerlokalisierung und bietet einen systematischen Ansatz, um die Zuverlässigkeit komplexer, mehrkomponentiger KI-Systeme zu gewährleisten.