🤖 machine learning

Grounding Functional Similarity by Invariance-Aware Model Stitching

Dit artikel behandelt de beperking van standaard modelstitching bij het nauwkeurig evalueren van functionele gelijkenis door een invariantiebewust raamwerk te introduceren op basis van voorwaartse-achterwaartse compatibiliteit, dat functionele discrepanties onthult die worden veroorzaakt door modellen die steunen op verschillende informatiekenmerken.

Oorspronkelijke auteurs: Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee verschillende chefs hebt, Chef A en Chef B. Beiden staan bekend om het maken van precies hetzelfde gerecht: een perfecte chocoladetaart. Je wilt weten of ze werkelijk "gelijk" zijn in hoe ze koken. Gebruiken ze dezelfde ingrediënten? Volgen ze dezelfde stappen? Of hebben ze toevallig gewoon hetzelfde resultaat behaald door geluk?

Lange tijd probeerden wetenschappers dit te beantwoorden door naar de eindtaart te kijken. Als Chef A en Chef B beide een heerlijke taart produceerden, gingen ze ervan uit dat de chefs vergelijkbaar waren. In de wereld van AI wordt dit "Model Stitching" genoemd. Het is alsof je de eerste helft van het recept van Chef A (de mengfase) probeert aan te sluiten op de tweede helft van het recept van Chef B (de bakfase). Als de taart nog steeds lekker smaakt, zeggen we dat de twee chefs "functioneel vergelijkbaar" zijn.

Echter, dit artikel betoogt dat het controleren van alleen de eindtaart een valstrik is. Het is alsof je een chef beoordeelt op basis van de smaak van het dessert, terwijl je negeert of hij verse vruchten gebruikte of een verborgen zak suiker om te valsspelen.

Het Probleem: De "Magic Shortcut" Valstrik

De auteurs ontdekten dat standaard AI-testen te gemakkelijk te misleiden zijn. Twee AI-modellen kunnen aan het einde identiek lijken omdat ze beiden een "cheat code" of een afkorting (shortcut) hebben gevonden.

De Analogie: Stel je een student voor die een toets maakt.
- Student A bestudeert het tekstboek en leert de wiskunde.
- Student B merkt op dat elke keer als een vraag een rode stip in de hoek heeft, het antwoord "42" is. Hij negeert de wiskunde en kijkt alleen naar de rode stip.
- Als je alleen hun eindantwoorden controleert, halen beide studenten een 10. Je zou kunnen denken dat ze hetzelfde hebben geleerd. Maar dat hebben ze niet. Student B vertrouwt op een "shortcut" (de rode stip) die Student A niet gebruikt.

In het artikel laten de auteurs zien dat standaard AI-stitching vaak deze "rode stip"-modellen laat passeren als zijnde vergelijkbaar, ook al zijn ze fundamenteel verschillend. Ze noemen dit Forward Compatibility: "Werkt de eerste helft met de tweede helft samen om een goede taart te maken?" Het antwoord is vaak "Ja", zelfs als de eerste helft vals speelt.

De Oplossing: De "Backwards" Check

Om dit op te lossen, stellen de auteurs een nieuwe methode voor genaamd Invariance-Aware Model Stitching. Ze voegen een tweede regel toe: Backward Compatibility.

De Analogie: Nu, in plaats van alleen de eindtaart te controlen, vragen we: "Als ik je een taart geef die er exact hetzelfde uitziet maar gemaakt is met iets andere ingrediënten, zou je deze dan nog steeds op dezelfde manier bakken?"
Hoe het werkt: De onderzoekers creëren een speciale test waarbij ze de AI "look-alike" inputs voeren. Dit zijn inputs die de eerste helft van het model als identiek ziet (zoals twee foto's die er voor ons verschillend uitzien, maar voor de vroege lagen van de AI hetzelfde zijn).
- Als de AI werkelijk vergelijkbaar is met het andere model, zou hij deze look-alikes consistent moeten afhandelen.
- Als de AI vertrouwt op een "shortcut" (zoals de rode stip), zal hij in de war raken wanneer de shortcut wordt verwijderd of veranderd, zelfs als het eindresultaat er goed uitziet.

Door in beide richtingen te controleren (Forward en Backward), kunnen de onderzoekers zien of twee modellen daadwerkelijk dezelfde logica gebruiken of dat ze gewoon geluk hadden met een shortcut.

Wat ze vonden

Het artikel voerde experimenten uit met verschillende soorten AI-modellen (sommigen getraind om "robuust" te zijn tegen trucjes, anderen niet) en vond:

De Oude Manier is Misleidend: Standaard testen zeggen vaak dat twee modellen vergelijkbaar zijn, terwijl ze in werkelijkheid totaal verschillende trucjes gebruiken om het probleem op te lossen.
De Nieuwe Manier is Eerlijk: De "Invariance-Aware" methode identificeerde correct dat modellen die shortcuts gebruiken niet vergelijkbaar zijn met modellen die de werkelijke taak hebben geleerd. Het onthulde de "functionele discrepanties" die voorheen verborgen bleven.
Robuuste Modellen zijn Echt Gelijk: Toen ze modellen testten die getraind waren om bestand te zijn tegen trucjes (robuuste modellen), toonde de nieuwe methode aan dat ze ook daadwerkelijk een vergelijkbare interne structuur delen. De oude methode miste deze nuance omdat deze te veel gefocust was op de eindscore.

De Kernboodschap

Beschouw dit artikel als een nieuwe, strengere kwaliteitscontroleur voor AI.

Oude Inspecteur: "Werkt het eindproduct? Ja? Geweldig, ze zijn hetzelfde."
Nieuwe Inspecteur: "Werkt het eindproduct? Ja. Maar heb je via een omweg vals gespeeld? Laten we je proces controleren met wat lastige, look-alike inputs. Ah, je was aan het valsspelen! Je bent eigenlijk niet vergelijkbaar met het eerlijke model."

De auteurs concluderen dat om echt te begrijpen hoe AI werkt, we niet alleen naar de output kunnen kijken. We moeten controleren of de interne logica van het model consistent en robuust is, en niet alleen of het in staat is om door geluk het juiste antwoord te geven.

Technische Samenvatting: Grondslag voor Functionele Gelijkenis door Invariantie-bewuste Model Stitching

Probleemstelling

De evaluatie van functionele gelijkenis beoogt te kwantificeren in welke mate onafhankelijk getrainde neurale netwerken vergelijkbare input-outputrelaties aanleren. Een prominente methode hiervoor is model stitching, waarbij de vroege lagen (front model) van het ene netwerk worden verbonden met de latere lagen (end model) van een ander via een trainbare uitlijningslaag (alignment layer). Als de resulterende gestitchte compositie een hoge prestatie behoudt, worden de modellen als functioneel gelijk beschouwd.

Echter, recente studies (bijv. Smith et al., 2025) hebben een kritieke beperking geïdentificeerd in standaard model stitching: het vertrouwt uitsluitend op voorwaartse compatibiliteit (forward compatibility). Dit betekent dat het alleen evalueert of de representaties van het front model kunnen worden uitgelijnd om de taak van het end model op te lossen. Bijgevolg kunnen modellen die vertrouwen op fundamenteel verschillende informatiekenmerken (bijv. kleur versus vorm, of robuuste versus niet-robuuste kenmerken) nog steeds compatibele representaties produceren, wat leidt tot "misleidende" beoordelingen van gelijkenis. Bovendien kan standaard stitching gebruikmaken van eerder ongeziene voorspellende kenmerken (shortcuts) om uitlijning te bereiken, wat de werkelijke functionele discrepanties verder maskeert.

De auteurs stellen dat standaard stitching inherent blind is voor de invariantie-eigenschappen van de modellen. Specifiek houdt het geen rekening met de achterwaartse richting: of het end model de gestitchederde representaties op een wijze verwerkt die consistent is met hoe het zijn eigen natuurlijke representaties verwerkt, met name met betrekking tot gedeelde invarianties.

Methodologie

1. Voorwaartse–Achterwaartse Compatibiliteitsvereiste

Om de beperkingen van de enkel voorwaartse evaluatie aan te pakken, introduceren de auteurs een voorwaartse–achterwaartse compatibiliteitsvereiste. Dit kader stelt dat voor twee modellen om functioneel gelijk te zijn, zij aan twee voorwaarden moeten voldoen:

Voorwaartse Compatibiliteit: De representaties van het front model kunnen worden uitgelijnd met het end model om de taak op te lossen.
Achterwaartse Compatibiliteit: Voor inputs die het front model identiek representeert (Indistinguishable Representations), moet het end model deze representaties op een vergelijkbare wijze verwerken of ze nu afkomstig zijn van het front model of van zijn eigen natuurlijke pad.

Dit vereiste zorgt ervoor dat de gestitchederde compositie de door het front model geïnduceerde invariantieklassen respecteert.

2. Invariantie-bewuste Model Stitching

De auteurs operationaliseren deze vereiste via Invariance-Aware Model Stitching. Het kernmechanisme omvat:

Identiek Gerepresenteerde Inputs (IRIs): Met behulp van een front model $f_{\le i}$ genereren zij een dataset $D_{IRIs}$ waarbij inputs $x'$ worden geoptimaliseerd om bijna identieke representaties te generen als de originele inputs $x$ bij de stitching-laag ( $||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$ ).
Trainingsprotocol: De stitching-laag wordt getraind op $D_{IRIs}$ (met gebruik van de representaties van het front model), maar geëvalueerd op de standaard testset $D_{test}$ .
Logica: Als de modellen werkelijk functioneel gelijk zijn, zou de op IRIs geleerde stitching-uitlijning moeten generaliseren naar de standaard testset. Als de uitlijning steunt op kenmerken die specifiek zijn voor de generatie van de IRIs of faalt om de invarianties van het end model te respecteren, zal de prestatie dalen, waardoor functionele discrepanties aan het licht komen.

3. Stitching Uitlijningsobjectieven

Het artikel evalueert verschillende uitlijningsobjectieven om de stitching-transformatie $T_\theta$ vast te stellen:

Hard Label Matching (HLM): Minimaliseert de cross-entropy tussen de gestitchederde output en de grondwaarheid-labels.
Soft Label Matching (SLM): Minimaliseert de cross-entropy tussen de gestitchederde output en de soft predictions van het standalone end model.
Direct Matching (DM): Minimaliseert de $L_2$ -afstand tussen de output van het front model en de intermediaire features van het end model op het niveau van de stitch.
Functional Latent Alignment (FuLA): Een nieuw door de auteurs voorgesteld objectief. Het minimaliseert de afstand tussen de interne features van de gestitchederde compositie en de features van het end model over meerdere lagen (van het stitch-niveau tot aan de penultieme laag), waardoor het de interne verwerkingsstroom van het end model nabootst zonder afhankelijk te zijn van output-labels.

Belangrijkste Bijdragen

Identificatie van Foutmodi: De auteurs tonen aan dat standaard model stitching (zelfs onder SLM en DM, niet alleen HLM) faalt in het onderscheiden van modellen die op verschillende informatiekenmerken vertrouwen. Zij laten zien dat deze methoden hoge gelijkenisscores kunnen produceren, zelfs wanneer modellen verschillende visuele kenmerken gebruiken (bijv. pixel-shortcuts) of wanneer het ene model robuust is en het andere niet.
Invariance-Aware Framework: Zij stellen een invariantie-bewuste model stitching voor en valideren dit als een meer fundamentele benadering. Door voorwaartse–achterwaartse compatibiliteit af te dwingen, onthult deze methode functionele discrepanties die standaard stitching verbergt.
Herwaardering van Robuustheid: Het artikel herbezoekt de functionele gelijkenis tussen robuuste (adversarieel getrainde) en niet-robuuste netwerken. Waar eerder werk suggereerde dat zij functioneel gelijk zijn, tonen de auteurs aan dat zij onder invariantie-bewuste stitching significante functionele incompatibiliteiten vertonen, met name in hoe zij omgaan met adversariële perturbaties.
Analyse van Uitlijningsobjectieven: De studie analyseert de wisselwerking tussen verschillende stitching-objectieven. Er wordt gevonden dat hoewel FuLA en SLM over het algemeen een hogere functionele gelijkenis opleveren, Direct Matching (DM) vaak mislijning op latent niveau onthult. De auteurs benadrukken een trade-off: objectieven die striktere latente uitlijning afdwingen (zoals DM) zijn mogelijk minder gevoelig voor het exploiteren van ongeziene kenmerken, maar kunnen lagere algehele gelijkenisscores opleveren.

Experimentele Resultaten

De auteurs voerden experimenten uit op beeldclassificatietaken met behulp van CIFAR-10, LS-ImageNet-10 en ImageNet-100 met architecturen zoals ResNet-18, VGG-16, ViT-Tiny en ViT-Base.

Verschillende Informatiekenmerken: Wanneer modellen getraind op verschillende varianten van CIFAR-10 worden gestitched (bijv. één getraind met pixel-shortcuts), toonde standaard stitching een hoge gelijkenis in diepe lagen. In contrast hiermee toonde de invariantie-bewuste stitching een scherpe daling in gelijkenis voor de cross-bias configuratie, waarmee de afwezigheid van functionele gelijkenis correct werd geïdentificeerd.
Ongeziene Voorspellende Informatie: Standaard stitching-formuleringen bleken "shortcuts" (voorspellende kenmerken die niet aanwezig waren in de originele trainingsdata) te exploiteren om modellen uit te lijnen. Invariantie-bewuste stitching mitigeerde dit gedrag aanzienlijk en reduceerde de "excessieve overeenstemming" tot bijna nul wanneer dergelijke kenmerken niet beschikbaar waren.
Robuuste versus Niet-Robuuste Modellen: Standaard stitching suggereerde dat robuuste en niet-robuuste modellen functioneel gelijk waren. Invariantie-bewuste stitching onthulde dat robuuste modellen een meer consistente representatiestructuur met elkaar delen, terwijl niet-robuuste modellen idiosyncratische invarianties ontwikkelen die niet gedeeld worden met robuuste modellen.
Vergelijking van Objectieven: FuLA en SLM behaalden over het algemeen een vergelijkbare functionele gelijkenis, terwijl DM vaak lagere functionele gelijkenisscores opleverde, wat suggereert dat mislijning bestaat op het niveau van de feature-representatie, nog voordat de output-laag wordt bereikt.

Betekenis en Claims

Het artikel claimt dat invariance-aware model stitching een meer gegronde en principiële metriek biedt voor functionele gelijkenis. Door voorbij te gaan aan louter voorwaartse compatibiliteit en ook achterwaartse compatibiliteit in te sluiten, voorkomt de methode misleidende conclusies waarbij modellen slechts gelijk lijken omdat ze uitgelijnd kunnen worden om een taak op te lossen, ondanks dat ze op verschillende onderliggende mechanismen vertrouwen.

De auteurs benadrukken dat hun aanpak "functionele discrepanties onthult die voorheen verborgen bleven", wat een fijnmaziger begrip biedt van hoe neurale netwerken intern opereren. Zij concluderen dat het evalueren van gelijkenis vanuit meerdere perspectieven (voorwaarts en achterwaarts) essentieel is voor een accurate beoordeling van de interne werking van diepe neurale netwerken, met name in contexten die te maken hebben met robuustheid en diverse trainingsdoelstellingen.

Beperkingen: De auteurs erkennen de afwezigheid van een "oracle"-begrip van functionele gelijkenis, wat betekent dat definitieve conclusies over welke setting de "meest getrouwe" is, uitdagend blijven. Daarnaast is de studie momenteel beperkt tot beeldclassificatiemodellen.