💻 computer science

UNBOX: Unveiling Black-box visual models with Natural-language

Het paper introduceert UNBOX, een raamwerk dat gebruikmaakt van taalmodellen en tekst-naar-beeld generatie om zwarte-kas visuele modellen volledig zonder toegang tot interne gegevens of gradiënten te analyseren en interpreteerbare inzichten in hun beslissingsprocessen te onthullen.

Oorspronkelijke auteurs: Simone Carnemolla, Chiara Russo, Simone Palazzo, Quentin Bouniot, Daniela Giordano, Zeynep Akata, Matteo Pennisi, Concetto Spampinato

Gepubliceerd 2026-03-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Simone Carnemolla, Chiara Russo, Simone Palazzo, Quentin Bouniot, Daniela Giordano, Zeynep Akata, Matteo Pennisi, Concetto Spampinato

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

UNBOX: Het openen van de "Zwarte Doos" van AI met een magische sleutel

Stel je voor dat je een superkrachtige robot hebt die foto's kan herkennen. Hij kan zien of er een hond, een auto of een boom op een foto staat. Maar er is een groot probleem: deze robot is een zwarte doos. Je ziet niet hoe hij werkt, je mag niet naar zijn hersenen kijken, en je weet niet welke foto's hij heeft geleerd. Je krijgt alleen een klein briefje terug met een percentage: "Ik ben 95% zeker dat dit een hond is."

Dat is precies hoe veel moderne AI-systemen werken. Bedrijven verkopen ze als diensten, maar ze houden de geheimen (de code, de training) voor zich. De vraag is: Hoe kunnen we weten of deze robot eerlijk is, of hij vooroordelen heeft, of waarom hij soms fouten maakt, als we niet naar binnen mogen kijken?

Dat is waar UNBOX (Unveiling Black-box visual models with Natural-language) om de hoek komt kijken.

De Magische Sleutel: Taal in plaats van Wiskunde

Normaal gesproken proberen wetenschappers om de zwarte doos open te maken door wiskundige formules te gebruiken (gradiënten) of door de interne schakelaars te bekijken. Maar als je geen toegang hebt tot die schakelaars, werkt dat niet.

UNBOX doet iets heel slims: het gebruikt taal als magische sleutel.

Stel je voor dat je de robot een opdracht geeft: "Teken een plaatje dat eruitziet als een hond."

De robot kijkt naar dat plaatje en zegt: "Nee, dat is maar 10% een hond."
UNBOX denkt na: "Oké, wat ontbreekt er? Misschien mist hij een staart of een bruine vacht?"
UNBOX past de opdracht aan: "Teken een plaatje van een hond met een lange staart en een bruine vacht."
De robot zegt nu: "Ja! Dat is 80% een hond!"

UNBOX herhaalt dit proces duizenden keren. Het is alsof je een blindeman bent die probeert een beeld te vormen door te vragen: "Is het hier warmer?" en "Is het hier donkerder?" Uiteindelijk vormt hij een heel scherp beeld van wat de robot eigenlijk ziet, puur door te praten en te luisteren naar de antwoorden.

Hoe werkt het precies? (De Analogie van de Kookchef)

Stel je voor dat de AI-robot een kookchef is die een geheim recept heeft, maar je mag het recept niet zien. Je wilt weten wat er in de soep zit.

De Proefnemer (De Diffusiemodel): UNBOX gebruikt een andere AI (een tekenaar) om plaatjes te maken op basis van woorden. Dit is als het koken van een proefsoep op basis van wat je zegt.
De Chef (De Zwarte Doos): De chef proeft de soep en zegt alleen: "Dit is 90% soep van de dag." Hij geeft geen recept.
De Criticus (De LLM-agent): UNBOX heeft twee slimme assistenten.
- De één kijkt naar het antwoord van de chef en zegt: "De chef vindt dit goed, maar hij reageerde minder sterk toen we 'kruiden' zeiden. Laten we meer nadruk leggen op 'groenten'."
- De ander past de woorden aan: "Oké, nieuwe opdracht: 'Een soep met veel groenten en geen kruiden'."

Door dit spelletje te spelen, begint UNBOX te begrijpen wat de chef eigenlijk belangrijk vindt. Misschien blijkt dat de chef "soep" eigenlijk vooral associeert met "groene groenten" en niet met "kip". Dat is een belangrijke ontdekking!

Wat heeft UNBOX ontdekt?

De onderzoekers hebben UNBOX getest op bekende foto-databases. Het resultaat is verbazingwekkend:

Het ziet wat wij niet zien: UNBOX ontdekte dat sommige robots foto's van "strand" niet herkennen aan het water, maar aan de kleur van het zand. Of dat een "hond" wordt herkend omdat hij op een "hondenriem" staat, en niet omdat het een hond is. Dit noemen we spurious correlations (schijnbare verbanden).
Het is eerlijk: Zelfs zonder toegang tot de interne geheugens van de robot, kon UNBOX net zo goed de geheimen onthullen als methoden die wél alles mogen zien.
Het helpt tegen vooroordelen: Als een robot bijvoorbeeld denkt dat "mannen" altijd "chefs" zijn en "vrouwen" altijd "verpleegsters" (een vooroordeel), kan UNBOX dit blootleggen door te zeggen: "Hé, je denkt dat een verpleegster altijd een vrouw is, want dat is wat je hebt geleerd."

Waarom is dit belangrijk voor jou?

Vandaag de dag vertrouwen we AI op alles: van het openen van je telefoon met je gezicht, tot het selecteren van sollicitanten voor een baan. Als die AI systemen "zwarte dozen" zijn, kunnen we niet weten of ze eerlijk zijn of of ze fouten maken.

UNBOX is als een detective die een vermomming aflegt. Het laat zien dat je niet altijd de sleutel tot het huis nodig hebt om te weten wat er binnen gebeurt. Je kunt het ook horen door naar de geluiden aan de deur te luisteren.

Kort samengevat:
UNBOX is een slimme methode die met alleen maar woorden en geduld de geheimen van onzichtbare AI-robots onthult. Het helpt ons te begrijpen waarom AI doet wat het doet, zodat we er in de toekomst meer op kunnen vertrouwen. Het is een stap naar een wereld waar AI transparant is, zelfs als de bedrijven die ze bouwen hun geheimen voor zich houden.

Probleemstelling

In de huidige praktijk worden visuele herkenningsmodellen steeds vaker als propriëtaire "black-box" API's ingezet. Gebruikers hebben hierbij alleen toegang tot de uitvoer (kansverdelingen/probabiliteiten), maar geen inzage in de architectuur, parameters, gradiënten, trainingsdata of interne activaties. Deze ondoorzichtigheid maakt het onmogelijk om modellen te auditeren, bias te detecteren of fouten te analyseren.

Bestaande uitlegmethode (explainability) vereist meestal witte- of grijze-boks-toegang (zoals gewichten of gradiënten) of kennis van de trainingsverdeling. Er is dus een urgent behoefte aan een methode die een model kan ontleden en interpreteren op basis van alleen de uitvoerkansverdelingen, zonder enige interne toegang.

Methodologie: UNBOX

UNBOX is een raamwerk voor het ontleden van modellen op klassen-niveau (class-wise model dissection) dat volledig data-vrij, gradiënt-vrij en backpropagation-vrij werkt. Het reformuleert het concept van "activatie-maximalisatie" (het vinden van inputs die een neuron maximaal activeren) als een semantische zoekopdracht in tekstruimte.

De methode bestaat uit de volgende kerncomponenten:

Semantische Optimalisatie in Tekstruimte:
- In plaats van gradiënten te gebruiken om een inputbeeld te optimaliseren, start UNBOX met een natuurlijke taal-prompt (bijv. "een foto van een willekeurig object").
- Een Text-to-Image Diffusion Model (bijv. FLUX) genereert een synthetisch beeld op basis van deze prompt.
- Het zwarte-boks-classificatiemodel beoordeelt dit beeld en retourneert de waarschijnlijkheid voor de doelklasse.
- Deze scalar-waarde is de enige feedback die beschikbaar is.
Semantisch Signaal en Agenten:
- Het systeem analyseert de evolutie van de uitvoerkans over tijd via twee variabelen: Trend (verbetering of verslechtering) en Intensity (hoe ver men nog van een hoge activatie verwijderd is).
- Deze variabelen worden omgezet in gestructureerde natuurlijke taal-instructies.
- Twee LLM-agenten (Large Language Models) werken samen:
  - Feedback Agent ( $A_f$ ): Geeft gestructureerde kritiek op de huidige prompt op basis van het semantische signaal en de context.
  - Updater Agent ( $A_u$ ): Past de prompt aan op basis van deze kritiek om de volgende iteratie te genereren.
Optimalisatiecontext (Global & Local):
- Om instabiliteit en het vastlopen in lokale optima te voorkomen, onderhoudt UNBOX twee contexten:
  - Global Context: Accumuleert prompts met hoge scores en hun meest effectieve "lexicale eenheden" (woorden) om een breed semantisch spectrum te behouden.
  - Local Context: Houdt een korte geschiedenis van recente prompt-feedback paren bij om oscillaties te voorkomen en consistente verbeteringen te waarborgen.

Belangrijkste Bijdragen

Eerste volledig zwarte-boks raamwerk: UNBOX is de eerste methode die globale, semantische concepten kan reconstrueren voor een visueel model uitsluitend op basis van uitvoerkansen, zonder toegang tot gewichten, gradiënten of trainingsdata.
Principiële tekstuele optimalisatie: Het introduceert een mechanisme dat iteratieve verfijning van beschrijvingen mogelijk maakt via gestructureerde natuurlijke taal-feedback, wat een alternatief biedt voor gradiëntgebaseerde methoden.
Validatie van interpretatie: Het bewijst dat de teruggevonden beschrijvingen accuraat, betekenisvol en concurrerend zijn met state-of-the-art witte-boks-methoden.

Resultaten

UNBOX werd geëvalueerd op ImageNet-1K, Waterbirds en CelebA tegenover state-of-the-art methoden (zoals CLIPDissect, WWW, DEXTER) die toegang hebben tot interne modelgegevens.

Semantische Fideliteit:
- UNBOX slaagt erin om tekstuele beschrijvingen te genereren die semantisch sterk overeenkomen met de ware klassenlabels.
- Op ResNet50 en ViT-architecturen presteerde UNBOX concurrerend met, en op ViT zelfs beter dan, witte-boks-methoden. Dit toont aan dat tekstuele optimalisatie robuust is over verschillende architecturale paradigma's.
Herstel van Latente Trainingssemantiek:
- De methode onthult niet alleen de beoogde concepten, maar ook de feitelijke visuele patronen die het model heeft geleerd (inclusief spurious correlations).
- De beschrijvingen van UNBOX vertonen een hoge correlatie met data-afgeleide attributen en visuele gronding (visual grounding) op validatiebeelden, zelfs zonder toegang tot deze data tijdens de generatie.
Bias Discovery en Debiasing:
- UNBOX kan systematische valse correlaties (bijv. achtergronden bij Waterbirds of demografische attributen bij CelebA) blootleggen.
- De geëxtraheerde beschrijvingen werden gebruikt om "slices" (subgroepen) te identificeren en een debiasing-pijplijn (DRO) te voeden.
- Resultaat: UNBOX bereikte een "worst-group accuracy" die concurreerde met methoden die volledige toegang tot data en modelinterne hebben (bijv. 88.6% op Waterbirds vs. 89.9% voor Oracle DRO).
Ablatie-studie:
- Zonder de Global Context en Intensity State degradeerde de prestatie aanzienlijk, wat aantoont dat deze componenten essentieel zijn voor stabiele convergentie en het vermijden van semantische drift.

Significantie

UNBOX markeert een paradigmaverschuiving in de interpretatie van AI-modellen. Het bewijst dat betekenisvol inzicht in het interne redeneren van een model mogelijk is, zelfs als het model volledig gesloten is (alleen een API).

Vertrouwen en Accountability: Het stelt auditors in staat om bias, kwetsbaarheden en de onderliggende trainingsdistributie van propriëtaire modellen te detecteren zonder de broncode of data te hoeven zien.
Onafhankelijkheid: De methode is architectonisch onafhankelijk en werkt even goed op CNN's (ResNet) als op Transformers (ViT).
Toekomstperspectief: Het opent de deur voor transparante, data-vrije en architectuur-agnostische analyse van moderne visuele systemen, wat cruciaal is voor de inzet van AI in open werelden waar modellen vaak als black-box worden geleverd.