Technische Samenvatting: SETA – Statistische Fouttoerekening voor Compound AI-systemen

1. Probleemstelling

Moderne AI-systemen worden steeds vaker ontworpen als Compound AI-systemen (CAS): complexe pipelines bestaande uit gespecialiseerde modellen, retrievers en softwarecomponenten in plaats van monolithische netwerken. Hoewel deze modulariteit de ontwikkeling vergemakkelijkt, introduceert het aanzienlijke uitdagingen bij het testen, debuggen en waarborgen van de veiligheid. Kleine, gelokaliseerde fouten in upstream-componenten (bijv. datadrift, modelmiscalibratie) kunnen door de pipeline propageren, wat leidt tot catastrofale systeembrede uitval.

Huidige robuustheidstesten kampen met twee primaire beperkingen:

1. End-to-End (E2E) Testing: Behandelt het systeem als een black box. Hoewel het kan identificeren dat er een fout is opgetreden, kan het de fout niet toeschrijven aan specifieke interne componenten.
2. Isolated Component Testing (ICT): Test modules in isolatie, maar slaagt er niet in om emergente fouten te detecteren die voortkomen uit dynamische interacties tussen modules, of om te analyseren hoe fouten door de pipeline propageren.

Bestaande tools (bijv. adversariële aanvallen zoals FGSM, formele verificatietools zoals Reluplex, of coverage-gebaseerde tools zoals DeepXplore) zijn grotendeels ontworpen voor single-network modellen. Ze missen het vermogen om fijnmazige foutlokalisatie uit te voeren binnen samengestelde pipelines of om uit te leggen waarom een fout is opgetreden binnen de executiecontext. Bovendien blijft het "test oracle problem"—de moeilijkheid om exacte correcte outputs voor intermediaire componenten te definiëren zonder grondwaarheid (ground truth)—een barrière.

2. Methodologie: Het SETA-framework

De auteurs stellen SETA (Statistical Fault Attribution) voor, een modulair framework dat Metamorphic Testing (MT) combineert met Execution Trace Analysis. SETA opereert zonder expliciete grondwaarheid-oracles te vereisen door gedragsspecificaties te definiëren via metamorfische relaties.

2.1 Metamorfische Relaties (MRs) als Pseudo-Oracles

SETA lost het oracle-probleem op door de instandhouding van door de gebruiker gespecificeerde eigenschappen (Metamorfische Relaties) over inputtransformaties heen te verifiëren, in plaats van enkel individuele input-output paren te controleren.

• Definitie: Een MR specificeert de verwachte relatie tussen de output van een systeem voor een bron-input $x$ en een geperturbeerde input $\tilde{x} = g(x)$.
• Generieke Formulering: Relaties worden gedefinieerd met behulp van de Kronecker delta ($\delta$) voor gelijkheidsrestricties en de Heaviside-stapfunctie ($H$) voor ongelijkheidsrestricties.
• Taakspecifieke MRs: Het framework definieert MRs voor vier belangrijke visietaken:
  • Beeldclassificatie: Invariantie van labels of begrensde $L_\infty$-norm verschillen in waarschijnlijkheidsverdelingen onder ruimtelijke transformaties.
  • Objectlokalisatie: Restricties op de Intersection over Union (IoU) tussen voorspelde en grondwaarheid bounding boxes.
  • Objectdetectie: Een combinatie van classificatie- en lokalisatierestricties toegepast op verzamelingen van gedetecteerde objecten.
  • Beeldsegmentatie: Pixel-niveau equivalentie of versoepelde IoU-gebaseerde overlaprestricties voor semantische maskers.
• Composiete Metamorfische Relaties (CMRs): Voor complexe componenten worden meerdere individuele MRs gecombineerd via logische conjunctie (productoperator) om een enkele composiete score ($S_i$) te vormen. Een component wordt als correct beschouwd als alle constituerende relaties standhouden.

2.2 State-Based Execution Trace Analysis

SETA modelleert het compound AI-systeem als een state-transition systeem waarbij staten computationele modules vertegenwoordigen.

• Execution Trace Tree ($T(x)$): Tijdens de inferentie instrumenteert het framework het systeem om een dynamische executiegraaf vast te leggen. Voor elke input $x$ en zijn geperturbeerde variant $\tilde{x}$, construeert het een boom die het volgende vastlegt:
  • Geactiveerde modules.
  • Input/output tensoren.
  • Routing-beslissingen (welke downstream modules worden aangeroepen).
  • Resultaten van de scoringfunctie ($S_q$) die de referentie- en geperturbeerde runs vergelijken.
• Trace Alignment: Het framework stemt de trace van de geperturbeerde input af tegen de referentie-trace om afwijkingen in activatiesets te detecteren (bijv. een module die in de één wel wordt getriggerd maar in de ander niet) of inconsistenties in de output.

2.3 Statistische Fouttoerekening

Om onderscheid te maken tussen het eerste punt van falen en de grondoorzaak (wat een upstream-fout kan zijn die is gepropageerd), gebruikt SETA een statistisch toerekeningsmechanisme.

• Failure Contribution (FC) Score: Het framework definieert een willekeurige variabele $Z_i$ die de afwijking van module $i$ vertegenwoordigt. De FC-score voor module $i$ is de verwachte afwijking voorwaardelijk op een systeembrede fout:
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  Dit meet hoe vaak een component zijn specificatie schendt gegeven dat het gehele systeem faalde.
• Attributiewichten: Scores worden genormaliseerd over alle modules om interpreteerbare attributiewichten ($\alpha_i$) af te leiden, die de relatieve bijdrage van elke component aan de systeemonbetrouwbaarheid kwantificeren.
• Algoritme: Het proces omvat het itereren door een dataset en een perturbatieset, het registreren van traces, het berekenen van systeemscores en het aggregeren van afwijkingen om een genormaliseerde attributievector te produceren.

3. Belangrijkste Bijdragen

1. Modulair Framework: Stelt SETA voor, dat Metamorphic Testing integreert met Execution Trace Analysis om fouten in complexe AI-pipelines te lokaliseren door de propagatie van perturbaties empirisch te traceren.
2. Oracle-vrije Specificaties: Ondersteunt schaalbare, testbare abstracties voor black-box modellen door gedragsspecificaties te definiëren via metamorfische relaties.
3. Uitbreidbaarheid: Dankzij het modulaire ontwerp kunnen gebruikers verschillende klassen van metamorfische relaties definiëren en implementeren, wat interpreteerbaarheid biedt in opaak systemen.
4. Fijnmazige Analyse: Demonstreert het vermogen om de oorsprong van fouten aan te wijzen en verborgen kwetsbaarheden in meerfasige pipelines bloot te leggen waar traditionele tools falen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op twee verschillende systemen:

1. Autonoom Spoorinspectie Visiesysteem: Een real-world systeem met 6 modules (1 objectdetector, 5 classificaties) die spoorwegbeelden verwerken.
   • Setup: Getest tegen 15 beeldcorruptietechnieken (bijv. mist, sneeuw, bewegingsonscherpte) uit de imagecorruptions library.
   • Bevindingen: SETA identificeerde succesvol dat de objectdetectiemodule ($f_0$) zeer gevoelig was voor mist en bewegingsonscherpte, terwijl downstream-classifiers variërende robuustheid vertoonden. Het berekende attributiescores ($\alpha_i$) die specifieke modules (bijv. $f_1$ en $f_3$) als primaire bijdragers aan systeemfouten onder specifieke perturbaties benadrukten.
2. Ensemble Classificatiemodel (CIFAR-10): Een sanity check met een ensemble van CNN's (ResNet18, VGG16, Custom CNN).
   • Bevindingen: De voorspelde accuraatheid van SETA voor individuele modellen lag binnen 2-3% van de werkelijke accuraatheid, waarbij de "Custom CNN" correct werd geïdentificeerd als het slechtst presterende model.
3. OCR Systeem: Een tekstgebaseerde pipeline met EasyOCR.
   • Bevindingen: Het framework werd aangepast met de Levenshtein-afstand als de metamorfische relatie. Het slaagde erin de robuustheid te kwantificeren en fouten toe te schrijven aan specifieke modules op basis van tekstsequentie-afwijkingen, wat de toepasbaarheid buiten visie-pipelines demonstreert.

5. Betekenis en Claims

Het artikel positioneert SETA als een proof-of-concept voor het diagnosticeren van emergente fouten in compound AI-systemen. De betekenis ligt in het overbruggen van de kloof tussen end-to-end testen en geïsoleerd componenttesten.

• Diagnostische Precisie: In tegen tegenstelling tot tools die alleen detecteren dat een fout is opgetreden, biedt SETA een statistische toerekening van welke module het meest verantwoordelijk is, wat ingenieurs naar kwetsbare submodules leidt.
• Schaalbaarheid: Door gebruik te maken van metamorfische relaties omzeilt het de noodzaak voor grondwaarheid-oracles, waardoor het toepasbaar is op complexe, real-world pipelines waar intermediaire grondwaarheid niet beschikbaar is.
• Beperkingen en Toekomstig Werk: De auteurs erkennen bescheiden dat de huidige toerekening correlationeel, niet causaal is. Hoge scores duiden op een associatie met fouten, maar bewijzen niet definitief causaliteit. De precisie hangt af van de volledigheid van de handmatig geconstrueerde metamorfische relaties. Toekomstig werk richt zich op de integratie van causale inferentie, programmasynthese voor automatische MR-generatie, en uitbreiding naar multimodale en reinforcement learning-systemen.

Samenvattend legt SETA een fundament voor compositioneel testen en uitlegbare foutlokalisatie, en biedt het een systematische aanpak om de betrouwbaarheid van complexe, multi-component AI-systemen te waarborgen.