🤖 machine learning

SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks

Het artikel stelt SeFaR voor, een nieuw framework dat hiërarchische conceptmodellering en generatieve AI inzet om de semantische robuustheid van diepe neurale netwerken systematisch te testen door realistische, vereiste-behoudende perturbaties te genereren en falen-inducerende kenmerken te identificeren via een adaptief feedbackproces.

Oorspronkelijke auteurs: Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Gepubliceerd 2026-08-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een auto te besturen of te navigeren op een rotsachtige planeet zoals Mars. Je geeft de robot een reeks regels, zoals: "Als er een auto voor je rijdt, versnel dan niet." Maar hier komt de crux: robots leren door naar plaatjes te kijken, en ze kunnen verrassend dwaas zijn. Ze kunnen in de war raken als de auto voor hen blauw is in plaats van rood, of als de lucht een stoffig oranje kleurt. Dit is de wereld van Deep Neural Networks, de breinachtige software achter zelfrijdende auto's en ruimtevoertuigen. Hoewel deze systemen geweldig zijn in het herkennen van dingen onder perfecte omstandigheden, lopen ze vaak tegen problemen aan of maken ze fouten wanneer de wereld vreemd, donker of simpelweg anders wordt dan wat ze op school hebben gezien.

Om deze robots veilig te houden, moeten we ze niet alleen testen met willekeurige ruis, maar met semantische kenmerken. Denk aan deze als de "betekenisvolle" onderdelen van een plaatje: de kleur van een auto, het type weer, of de vorm van een rots. De grote vraag die onderzoekers stellen is: "Als we de kleur van de auto veranderen, maar de regel 'niet versnellen' waar blijft, raakt de robot dan nog steeds in paniek?" Dit artikel introduceert een nieuwe manier om die vraag te beantwoorden, waarbij we verder gaan dan alleen het aanpassen van pixels en daadwerkelijk het verhaal van de afbeelding op een gecontroleerde, slimme manier veranderen.

De "Wat als?"-machine van de robot

Maak kennis met SeFaR (Semantic Feature-aware Robustness Testing). Je kunt SeFA als een zeer creatieve, lichtelijk ondeugende kunstleraar voor robots beschouwen. Zijn taak is om de "regels" van een robot en een heleboel plaatjes die aan die regels voldoen te nemen, en vervolgens te vragen: "Wat gebeurt er als we slechts één ding aan het plaatje veranderen, zoals een sedan in een vrachtwagen veranderen, of het weer veranderen in een stofstorm, terwijl de rest van de scène exact hetzelfde blijft?"

De meeste oude manieren om robots te testen, waren alsover het werpen van zand in hun ogen of het vertroebelen van hun zicht. Dat is niet erg nuttig, want het echte leven is niet alleen wazig; het zit vol specifieke veranderingen, zoals een groen licht dat rood wordt of een voetganger die verschijnt. SeFAR is anders. Het gebruikt een speciaal "hiërarchisch conceptmodel", wat een soort stamboom van ideeën is. Aan de top heb je brede categorieën zoals "Voertuig" of "Weer". Naarmate je de takken afdaalt, word je specifieker: "Voertuig" splitst zich in "Vrachtwagen" of "Sedan", en "Kleur" splitst zich in "Blauw", "Groen" of zelfs "Teal" (blauwgroen).

SeFAR gebruikt krachtige AI-tools genaamd diffusion models (denk aan hen als super-slimme digitale schilders) om de plaatjes opnieuw te schilderen. Als je zegt: "Verander de auto in een blauwe vrachtwagen," zal het een blauwe vrachtwagen in de scène schilderen zonder de weg, de lucht of de andere auto's te verstoren. Het controleert vervolgens of de robot nog steeds de regels volgt. Als de robot plotseling besluit te versnellen omdat de auto nu blauw is, vangt SeFAR hem!

Het Detectiewerk

Het echt coole deel is hoe SeFAR de exacte reden vindt waarom de robot faalde. Soms faalt de robot door een specifieke kleur, zoals "Teal", waar de makers van de robot zelfs niet aan hadden gedacht om op te testen. SeFAR werkt als een detective. Het kijkt naar de mislukte plaatjes en gebruikt een andere AI-tool (een Vision-Language model) om te beschrijven wat er veranderd is. Het kan zeggen: "Hé, de auto werd teal, en dat is waarom de robot in paniek raakte."

Het artikel heeft dit getest op drie verschillende scenario's:

Zelfrijdende auto's (SGSM): Het testen van regels zoals "Als er een auto 10 meter voor je rijdt, versnel dan niet."
Een campus rover (RRAV): Het testen of het verkeerskegels en mensen kan herkennen.
Een Marsrover (AI4MARS): Het testen of het grote rotsblokken op het Marsoppervlak kan spotten.

Wat ze vonden

De onderzoekers kwamen tot de conclusie dat SeFAR een zeer goede kunstenaar is. Wanneer het de plaatjes veranderde, hield het de regels gemiddeld 93,4% van de tijd waar. Dit betekent dat het erin slaagde de kleur van de auto of het weer te veranderen zonder per ongeluk de regel te breken (zoals de auto laten verdwijnen).

Maar de echte verrassing zat in de fouten. SeFAR ontdekte dat robots verrassend kwetsbaar zijn.

Bij de tests met zelfrijdende auto's zorgde het veranderen van een autokleur naar groen ervoor dat de robot ongeveer 39,7% van de tijd faalde. Het veranderen naar een vrachtwagen veroorzaakte fouten in 10,5% van de gevallen.
Nog interessanter: wanneer ze veranderingen combineerden — zoals een groene vrachtwagen — steeg het foutpercentage naar 25,5%.
Voor de Marsrover was een stofstorm een groot probleem, wat leidde tot fouten, terwijl andere weersveranderingen de rover minder bezorgd maakten.

Het artikel suggereert dat deze fouten optreden omdat de robots vertrouwen op "spuriouse correlaties" (schijnverbanden) — ze gokken op basis van zaken die er niet toe doen, zoals een specifieke tint blauw of de aanwezigheid van een schaduw van een boom, in plaats van op de eigenlijke regel.

De Kern van het Verhaal

SeFA_R vertelt ons niet alleen dat een robot faalde; het vertelt ons waarom door de specifieke "feature" te vinden die het brein van de robot brak. Het ontdekte dat robots vaak broos zijn en falen wanneer ze geconfronteerd worden met specifieke, realistische veranderingen zoals een teal-kleurige auto of een stofstorm, zelfs als die veranderingen de veiligheidsregels niet schenden.

De auteurs zijn er zeker van dat deze methode goed werkt voor het vinden van deze verborgen zwakheden. Ze toonden aan dat door systematisch deze "wat als?"-scenario's te verkennen, we fouten kunnen ontdekken die standaardtesten missen. Hoewel ze niet beweerden het probleem van robotveiligheid voor altijd opgelost te hebben, hebben ze aangetoond dat SeFA_R een krachtig nieuw instrument is om ervoor te zorgen dat onze toekomstige robots niet in de war raken door een simpele kleurverandering of een plotselinge stofstorm. Het is een stap naar ervoor te zorgen dat, wanneer we het stuur aan een robot overhandigen, hij niet in paniek raakt alleen omdat de lucht er een beetje anders uitziet.

Technische Samenvatting: SeFaR – Semantic Feature-aware Robustness Testing of Deep Neural Networks

1. Probleemstelling

Deep neural networks (DNN's) worden steeds vaker ingezet in veiligheidskritische domeinen zoals autonome voertuigen, onbemande luchtvaartsystemen en planetaire verkenning. Hoewel deze modellen een sterke empirische nauwkeurigheid vertonen, falen ze regelmatig in zeldzame, ondervertegenwoordigde of semantisch complexe scenario's, wat leidt tot onveilig gedrag. Het valideren van prestaties over alle relevante scenario's heen is uitdagend, met name in omgevingen zoals ruimteverkenning waar gegevensverzameling in de echte wereld duur en onpraktisch is.

Bestaande testbenaderingen richten zich vaak op pixelniveau-transformaties of manipulaties in de latente ruimte die mogelijk niet overeenkomen met betekenisvolle semantische veranderingen. Andere methoden die gebruikmaken van simulators of scene graphs zijn beperkt in het vastleggen van de perceptuele variabiliteit in de echte wereld. Hoewel recente generatieve modeltechnieken de vooruitgang hebben geboekt in beeldbewerking en representatieanalyse, zijn ze niet ontworpen voor de systematische robuustheidsevaluatie van downstream visiemodellen tegen onbedoelde semantische variaties. Specifiek is er een gebrek aan frameworks die de robuustheid van modellen systematisch kunnen beoordelen met betrekking tot semantische kenmerken die orthogonaal staan aan (irrelevant zijn voor) de functionele vereisten van het systeem, maar nog steeds de beslissingen van het model beïnvloeden.

2. Methodologie: Het SeFaR-framework

De auteurs stellen SeFaR (Semantic Feature-aware Robustness) voor, een framework voor systematische, semantische kenmerkgerichte testing van visiemodellen. Het framework evalueert de robuustheid van modellen door realistische perturbaties te genereren langs semantische kenmerken die de voldoening van hoogwaardige vereisten behouden, terwijl ze potentieel fouten blootleggen.

Kerncomponenten

Hiërarchisch Conceptmodel (Forest of Feature Trees - FFT):
- SeFaR maakt gebruik van een nieuw hiërarchisch conceptmodel dat is georganiseerd als een bos van feature trees. Deze structuur beslaat meerdere abstractieniveaus, van grove factoren (bijv. achtergrond, objecttype) tot fijnmazige attributen (bijv. specifieke kleuren, poses).
- Het model maakt gebruik van door gebruikers gedefinieerde domeinkennis (gepopuleerd door experts) en ondersteunt "open world" modellering via placeholders (bijv. _) voor niet-gespecificeerde kenmerken.
- Kenmerken worden gedefinieerd met logische operatoren (or, xor) om relaties weer te geven (bijv. "is-een" of "is-onderdeel-van").
Perturbatie en Schendingsdetectie:
- Inputs: Een neuraal netwerk ( $N$ ), een geformaliseerde correctheidseis ( $\phi = \phi_x \Rightarrow \phi_y$ ), een set inputs die aan de eis voldoen ( $D$ ), en een gestructureerde set semantische kenmerken ( $F_\phi$ ) die invariant wordt verwacht te zijn.
- Proces: Het framework maakt gebruik van een state-of-the-art diffusiemodel (specifiek Qwen-Image-Edit) als een perturbatie-operator ( $\Delta$ ). Gegeven een inputafbeelding en een natuurlijke taalprompt die een kenmerk specificeert om te wijzigen, genereert het model fotorealistische variaties die het doel-kenmerk veranderen terwijl de rest van de scène-semantiek behouden blijft.
- Verificatie: De geperturbeerde afbeeldingen worden geëvalueerd tegen de postconditie van de eis ( $\phi_y$ ). Als het model de postconditie niet haalt ondanks dat de precondition ( $\phi_x$ ) is voldaan, wordt een schending geregistreerd.
Adaptieve Foutanalyse en Ontdekking:
- Kenmerk-lokalisatie: Om de specifieke semantische factoren te identificeren die fouten veroorzaken, gebruikt SeFaR een Vision-Language Model (VLM) (specifiek Qwen2.5-VL) om paren van originele en geperturbeerde afbeeldingen te analyseren. Het VLM wordt gepromptt om verschillen in natuurlijke taal te beschrijven.
- Semantische Aggregatie: Tekstuele beschrijvingen van veranderingen worden geëmbed met een sentence transformer en geclusterd om veelvoorkomende fout-inducerende concepten te identificeren. Dit proces kan voorheen onbekende kenmerken ontdekken (bijv. de kleur "teal" of het weerbericht "stofstorm") die niet aanwezig waren in de initiële door de gebruiker gedefinieerde hiërarchie.
- Iteratieve Verfijning: Het framework hanteert een feedbackgestuurd adaptief proces. Gedetecteerde fout-kenmerken worden gebruikt om de feature-hiërarchie te verfijnen voor opeenvolgende rondes, hetzij door robuuste kenmerken te verwijderen, laag-risico kenmerken te deprioriteren, of diepere paden in de boom te verkennen voor kenmerken die fouten hebben veroorzaakt.
Belangrijkste Bijdragen
Het artikel beschrijft vijf primaire bijdragen:
SeFaR Framework: Een systematisch, semantisch-kenmerkgericht testing framework dat de robuustheid van visiemodellen evalueert tegen semantische variaties die orthogonaal staan aan de vereisten.
Hiërarchisch Conceptmodel: Een gestructureerde representatie (FFT) die exploratie van de semantische feature-ruimte faciliteert, gebruikersgedefinieerde domeinkennis huisvest en de ontdekking van niet-gespecificeerde kenmerken ondersteunt.
Diffusie-gebaseerde Generatie: Het gebruik van diffusiemodellen om eis-behoudende, fotorealistische semantische variaties te genereren om niet-robuustheid in realistische, zeldzame scenario's te detecteren.
Adaptieve Ontdekking: Een mechanisme voor het ontdekken van feature-georiënteerde foutverklaringen via VQA-gebaseerde semantische analyse, waarbij testsets worden gegenereerd die de feature-niet-robuustheid van het model getuigen.
Empirisch Bewijs: Demonstratie van de toepasbaarheid van SeFaR over drie verschillende casestudy's, waarbij wordt aangetoond dat het in staat is om preconditionen te voldoen terwijl nieuwe kenmerken worden geïdentificeerd die modelbeslissingen beïnvloeden.

4. Evaluatie en Resultaten

De auteurs hebben SeFaR geëvalueerd op drie datasets die verschillende operationele omgevingen vertegenwoordigen:

SGSM: Autonoom rijden (CARLA simulator) met vereisten afgeleid van de Virginia Driving Code.
RRAV: NASA rover navigatie op campuswegen (obstakelvermijding voor kegels en voetgangers).
AI4MARS: Mars terrein navigatie (identificeren van grote rotsen).

Belangrijkste bevindingen:

Precondition Behoud (RQ1): SeFaR bereikte consistent een hoge precondition-tevredenheid (gemiddeld 93,4% over de datasets). Dit bevestigt het vermogen van het framework om semantische kenmerken te perterberen zonder de precondition van de veiligheidsvereisten te schenden.
Robuustheid Onthulling (RQ2): Het framework onthulde effectief semantische kenmerken waarvoor modellen niet robuust waren.
- In de SGSM-casus veroorzaakten specifieke voertuigkleuren (Groen, Blauw) en typen (Truck) aanzienlijke foutpercentages (bijv. 39,7% foutpercentage voor Groene voertuigen).
- In AI4MARS werd "Dust Storm" (Stofstorm) geïdentificeerd als een fout-inducerend weertype, een scenario dat niet aanwezig was in de oorspronkelijke trainingsdata.
- Gecombineerde semantische veranderingen (bijv. Verlichting + TrafficLightPole) versterkten de kwetsbaarheid van het model vaak, waarbij de foutpercentages in specifieke combinaties boven de 50% uitkwamen.
Ontdekking van Onbekende Kenmerken: De analyse identificeerde succesvol kenmerken die niet in het initiële door de gebruiker gedefinieerde model zaten, zoals specifieke kleurtinten (Teal) en omgevingscondities (Dust Storm), wat het vermogen van het framework demonstreert om breekbare gedragingen te onthullen.

5. Betekenis en Claims

Het artikel beweert dat SeFaR een nieuwe combinatie biedt van hiërarchische semantische modellering, diffusie-gebaseerde generatie en feedback-gestuurde exploratie. De betekenis ligt in:

Systematische Ontdekking: Het mogelijk maken van de systematische ontdekking van scenario's die veiligheidskritische fouten kunnen veroorzaken bij implementaties in de echte wereld, specificaal die veroorzaakt door zeldzame of ondervertegenwoordigde semantische variaties.
Verklaarbaarheid: Het relateren van ontdekte fouten direct aan specifieke semantische kenmerken, wat actiegericht feedback geeft aan ontwikkelaars over de oorzaken van niet-robuustheid.
Praktisch Nut: Het positioneren van SeFaR als een praktisch hulpmiddel voor het verbeteren van de betrouwbaarheid van visie-gebaseerde systemen door verder te gaan dan pixel-niveau testing naar semantisch-niveau robuustheidsevaluatie.

De auteurs hanteren een bescheiden toon met betrekking tot bedreigingen voor de validiteit, waarbij zij erkennen dat de effectiviteit van het framework afhangt van de kwaliteit van de onderliggende foundation-modellen en prompting-strategieën, en dat bredere studies die gebruikmaken van door experts geschreven domein-ontologieën een natuurlijke volgende stap zijn.