💻 computer science

A Fiber Criterion for Representation Identifiability in Supervised Learning

Dit artikel stelt vast dat eigenschappen op representatieniveau in supervised learning identificeerbaar zijn vanuit enkel input-outputgedrag indien en slechts indien zij constant blijven over alle mogelijke factorisaties van de predictor, waarmee wordt aangetoond dat claims over representaties inherent aannames of doelstellingen vereisen die verder gaan dan supervised performance.

Oorspronkelijke auteurs: Vasileios Sevetlidis

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vasileios Sevetlidis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Black Box" versus het "Interne Verhaal"

Stel je voor dat je een chef-kok inhuurt om een specifiek gerecht te maken, zeg een Spaghetti Carbonara. Je beoordeelt de chef uitsluitend op het uiteindelijke bord eten. Als de smaak perfect is, zeg je: "Goed gedaan!"

In machine learning is dit Supervised Learning (begeleid leren). We kijken naar de input (de rauwe ingrediënten) en de output (het voltooide gerecht). Als het model het juiste antwoord voorspelt, nemen we aan dat het het juiste heeft geleerd.

Echter, moderne AI-modellen worden vaak beschreven als modellen die "representaties leren". Dit betekent dat we ervan uitgaan dat het model niet alleen maar gokt; het heeft een interne "mentale kaart" van de wereld opgebeld. We beweren zaken als:

"Het model heeft geleerd om de achtergrond te negeren."
"Het model heeft de data efficiënt gecomprimeerd."
"Het model begrijpt het concept 'vogel', ongeacht of het over water of land is."

De Grote Vraag van het Papier: Kunnen we deze dingen daadwerkelijk weten door alleen naar het uiteindelijke gerecht (de voorspelling) te kijken?

Het Antwoord: Nee. (Het "Vezel"-probleem)

Het artikel betoogt dat je niet kunt weten wat er in het hoofd van de chef gebeurt door alleen de smaak van het eten te proeven.

De auteurs gebruiken een wiskundig concept genaamd een "Fiber" (Vezel). Stel je een bundel verschillende kookmethoden voor die allemaal resulteren in exact dezelfde smakende Spaghetti Carbonara.

Chef A gebruikt verse, hoogwaardige eieren en negeert de zoutgehaltes.
Chef B gebruikt eipoeder en voegt een geheim, nutteloos specerij toe dat de smaak totaal niet verandert.
Chef C gebruikt verse eieren, maar houdt stiekem een dagboek bij over het weer buiten (wat irrelevant is voor de pasta).

Als je alleen de pasta proeft, lijken alle drie de chefs identiek. Ze bevinden zich in dezelfde "Fiber". Omdat het eindresultaat hetzelfde is, kan supervised learning je niet vertellen welke chef verse eieren gebruikt, welke chef het zout negeert, of welke chef stiekem het weer volgt.

De "Magische Truc" (Predictor-Preserving Augmentation)

Het papier bewijst dit met een simpele truc genaamd Predictor-Preserving Augmentation.

Stel je hebt een perfect AI-model dat vogels identificeert. Het kijkt naar een foto en zegt: "Adelaar."
Nu zegt het artikel: Ik kan stiekem een stuk nutteloze informatie aan het brein van het model toevoegen zonder het antwoord te veranderen.

De Truc: We nemen de interne "hersenen" van het model (de representatie) en koppelen daar een nieuw, nutteloos stuk data aan. Laten we zeggen dat we de huidige temperatuur of een willekeurig getal aan de beelddata van de vogel koppelen.
De Fix: We vertellen het laatste deel van het model (de "Head") om dit nieuwe stuk data simpelweg te negeren. Het kijkt alleen naar het vogel-gedeelte.
Het Resultaat: Het model zegt nog steeds "Adelaar" met 100% nauwkeurigheid. De voorspelling is niet veranderd.

Maar hier zit de crux:

Het model is niet langer "minimaal" (het draagt extra gewicht met zich mee).
Het model is niet langer "invariant" (als de temperatuur verandert, verandert de interne data, ook al is de vogel hetzelfde).
Het model bevat nu "nuisance information" (de temperatuur).

Omdat we deze truc kunnen uitvoeren voor elke eigenschap (compressie, invariantie, semantische betekenis), wordt geen van deze eigenschappen gegarandeerd door de voorspelling alleen. De voorspelling staat vast, maar het interne verhaal kan totaal anders zijn.

Wat dit betekent voor "Claims"

Het papier introduceert een "Fiber Criterion". Het stelt:

Een claim over wat het model "weet" (zoals "het is gecomprimeerd" of "het is invariant") is alleen waar als elke mogelijke versie van dat model (die dezelfde voorspelling geeft) diezelfde eigenschap deelt.

Aangezien we zojuist hebben aangetoond dat je gemakkelijk "rommel" aan het model kunt toevoegen zonder de voorspelling te veranderen, zijn veel van deze mooie claims over het interne brein van het model onbewezen als je alleen naar de voorspelling kijkt. De voorspelling is immers constant, maar de interne structuur kan wild variëren.

Hoe lossen we dit op?

Als we zeker willen weten dat het model "invariant" of "gecomprimeerd" is, kunnen we niet alleen vertrouwen op de voorspelling. We moeten extra regels toevoegen (wat het papier "inductive biases" of "aannames" noemt).

Denk aan het inhuren van een chef met een contract:

Zonder contract: Je krijgt een goed gerecht, maar je weet niet of ze verse ingrediënten gebruikten of dat ze het weer volgden.
Met een contract (Architecturale beperkingen): Je dwingt de chef om een specifiek type pan te gebruiken (Architectuur) of beperkt het aantal ingrediënten (Bottleneck).
Met een boete (Regularisatie): Je krijgt een boete als de chef te veel ingrediënten gebruikt.

Het artikel concludeert dat claims over de interne representatie deze extra contracten vereisen. Je kunt ze niet afleiden uit het eindresultaat alleen.

Samenvatting in één zin

Alleen omdat een machine learning-model het juiste antwoord geeft, betekent dit niet dat het de "juiste" manier heeft geleerd; het zou een compleet andere, rommelige of inefficiënte interne methode kunnen gebruiken die toevallig hetzelfde resultaat produceert, en we kunnen het verschil niet zien zonder extra regels aan het systeem toe te voegen.

Technische Samenvatting: Een Vezel-criterium voor Representatie-identificeerbaarheid in Supervised Learning

Probleemstelling
In supervised learning worden modellen doorgaans geëvalueerd op basis van hun input-outputgedrag (voorspellende nauwkeurigheid of risico). Echter, moderne modellen worden vaak niet louter geïnterpreteerd als voorspellers, maar als leerders van representaties, waarbij de interne mapping $h$ wordt beweerd specifieke structurele eigenschappen te bezitten zoals compressie, invariantie, ontwarring (disentanglement) of semantische toegankelijkheid. Het artikel identificeert een fundamentele kloof: supergecontroleerd bewijs beperkt de samengestelde voorspeller $f = c \circ h$ (waarbij $h$ inputs naar representaties mapt en $c$ representaties naar outputs mapt), maar bepaalt niet noodzakelijkerwijs de specifieke factorisatie $(h, c)$ die deze realiseert.

Twee verschillende factorisaties kunnen exact dezelfde voorspeller $f$ induceren terwijl ze substantieel verschillende interne representaties bezitten. Bijvoorbeeld, één representatie kan overtollige informatie (nuisance information) weggooien terwijl een andere het behoudt; één kan gecomprimeerd zijn terwijl een andere dat niet is. Het artikel formaliseert de vraag: Welke eigenschappen van de interne representatie $h$ zijn uniek bepaald door de geïnduceerde voorspeller $c \circ h$ ? De auteurs stellen dat zonder aanvullende aannames, veel veelvoorkomende claims op representatieniveau niet identificeerbaar zijn vanuit enkel het supergecontroleerde voorspellende gedrag.

Methodologie en Theoretisch Kader
Het artikel benadert dit probleem via een formeel identificeerbaarheidsraamwerk gebaseerd op het concept van vezels (fibers) in de ruimte van representatie-head paren.

Voorspeller-equivalentie en Vezels:
Laat $\mathcal{M}$ een klasse zijn van toelaatbare representatie-head paren $(h, c)$ . Het artikel definieert een projectiemap $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ waar $\Pi(h, c) = [c \circ h]_{P_X}$ , wat de geïnduceerde voorspeller representeert tot $P_X$ -bijna-zeker gelijkheid.
- Twee paren $(h, c)$ en $(\tilde{h}, \tilde{c})$ zijn voorspeller-equivalent als ze dezelfde voorspeller induceren ( $c \circ h = \tilde{c} \circ \tilde{h}$ bijna zeker).
- De verzameling van alle paren die dezelfde voorspeller induceren, vormt een vezel van $\Pi$ .
Het Vezel/Descent-criterium:
Het centrale theoretische resultaat (Theorema 3.3) stelt een noodzakelijke en voldoende voorwaarde vast voor representatie-identificeerbaarheid:
- Een representatie-eigenschap $P$ is identificeerbaar vanuit de geïnduceerde voorspeller indien en slechts indien $P$ constant is op elke vezel van $\Pi$ .
- Evenredig hiermee moet $P$ "afdalen" (descend) naar een goed gedefinieerde eigenschap van de voorspeller zelf. Als $P$ varieert binnen een enkele vezel (dat wil zeggen, twee factorisaties produceren dezelfde voorspeller maar hebben verschillende waarden voor $P$ ), dan kan $P$ niet uit de voorspeller alleen worden afgeleid.
De Augmentatie-obstructie:
Om niet-identificeerbaarheid aan te tonen, introduceert het artikel een canonieke constructie genaamd voorspeller-preserverende augmentatie.
- Gegeven een factorisatie $(h, c)$ en een hulpstatistiek $q(x)$ , kan men een nieuwe representatie $h_q(x) = (h(x), q(x))$ construeren en een nieuwe head $c_q(u, v) = c(u)$ .
- De nieuwe head negeert de toegevoegde coördinaat $q$ , waardoor $c_q \circ h_q = c \circ h$ puntgewijs geldt. De voorspeller en het supergecontroleerde risico blijven onveranderd.
- Echter, de nieuwe representatie $h_q$ kan verschillen van $h$ in eigenschappen zoals minimaliteit, compressie, invariantie of semantische toegankelijkheid.
- Theorema 3.5 (Augmentatie-obstructie): Indien een modelklasse $\mathcal{M}$ gesloten is onder voorspeller-preserverende augmentatie, is elke representatie-eigenschap die verandert wanneer dergelijke augmentatie wordt toegepast, niet identificeerbaar vanuit de geïnduceerde voorspeller (en daarmee ook niet vanuit scalaire supergecontroleerde risico's).
Herstel van Identificeerbaarheid:
Het artikel merkt op dat identificeerbaarheid kan worden hersteld door de toelaatbare klasse $\mathcal{M}$ te beperken (bijv. via architecturale beperkingen, bottlenecks, of inductieve biases) zodat de "slechte" augmentaties worden uitgesloten, of door het observationele object te verrijken (bijv. door extra verliezen, meerdere omgevingen, of directe metingen toe te voegen).

Belangrijkste Bijdragen

Formalisering van Representatie-identificeerbaarheid: Het artikel definieert representatie-identificeerbaarheid strikt in termen van de geïnduceerde voeller, waarbij het onderscheid maakt tussen statistische identificeerbaarheid van latente generatieve factoren.
Het Vezel/Descent-criterium: Het biedt een rigoureus wiskundig criterium (Theorema 3.3) dat stelt dat een eigenschap identificeerbaar is indien en slechts indien deze constant is op de vezels van de projectie van factorisaties naar voorspellers.
Algemeen Obstructiemechanisme: Het identificeert voorspeller-preserverende augmentatie als een universele getuige voor niet-identificeerbaarheid, die van toepassing is op veelvoorkomende desiderata (waaronder minimaliteit, compressie, invariantie, equivariance, verwijdering van overtollige informatie en semantische toegankelijkheid (Tabel 1)).
Empirische Diagnostiek: Het artikel biedt twee soorten empirisch bewijs:
1. Exacte Algebraïsche Getuigen: Experimenten op CelebA, CIFAR-10, STL-10, OfficeHome en PACS waarbij hulpinformatie (semantische attributen, transformatie-embeddings, domeinlabels) aan representaties wordt toegevoegd. De resultaten laten zien dat terwijl de voorspeller identiek blijft (nul verschil), standaard diagnostiek (probe nauwkeurigheid, invariantie afstand, effectieve rang) drastisch verandert.
2. Matched-Performance Studie: Een studie op de Waterbirds-dataset die modellen vergelijkt die getraind zijn met verschillende beperkingen (ERM, Bottleneck, VIB, AugInv, SupCon) en die vergelijkbare supergecontroleerde prestaties behalen. De resultaten tonen aan dat deze modellen verschillende representatie-diagnostiek selecteren (bijv. effectieve rang, nuisance decodability) ondanks vergelijkbare testnauwkeurigheid en loss.

Resultaten

Theoretisch: Het artikel bewijst dat eigenschappen zoals compressie, invariantie en semantische toegankelijkheid geen consequenties zijn van enkel supergecontroleerde voorspelling alleen. Ze variëren binnen de vezel van de geïnduceerde voorspeller, tenzij de toelaatbare klasse wordt beperkt.
Empirisch:
- In de experimenten met exacte getuigen zorgde het toevoegen van een enkele coördinaat (bijv. een domeinlabel) aan een representatie ervoor dat een probe deze informatie met 100% nauwkeurigheid kon decoderen, terwijl de originele representatie dat niet kon, ondanks dat de output van de voorspeller onveranderd bleef.
- In de Waterbirds-studie vertoonden modellen met gematchte testnauwkeurigheid significante divergentie in representatie-eigenschappen. Bijvoorbeeld, Information Bottleneck-methoden selecteerden extreem laag-rank representaties (effectieve rang $\approx 1.8$ ) vergeleken met ERM (effectieve rang $\approx 35.7$ ), terwijl augmentatie-invariantie-methoden de transformatiegevoeligheid verminderden maar een hoge nuisance decodability behielden. Cruciaal was dat de nauwkeurigheid in de slechtste groep (worst-group accuracy) niet monotoon correleerde met de nuisance probe nauwkeurigheid, wat aangeeft dat claims over representatieniveau specifieke rechtvaardigingen vereisen die verder gaan dan voorspellende prestaties.

Betekenis en Claims
Het artikel claimt de logische relatie tussen supergecontroleerd voorspellend gedrag en interne representatie-eigenschappen te verhelderen. De primaire bijdrage is een negatief resultaat met betrekking tot de voldoendeheid van supervised learning voor representatieclaims:

Supergecontroleerd voorspellend gedrag certificeert een representatie-eigenschap alleen wanneer die eigenschap wordt bepaald door de geïnduceerde voorspeller.
Claims over compressie, invariantie of semantische structuur zijn geen automatische consequenties van een lage supergecontroleerde loss.
Om dergelijke claims te rechtvaardigen, moet men vertrouwen op aanvullende structuur buiten de voorspeller, zoals architecturale restricties, regularisatie, bottlenecks, data-augmentatie, hulp-doelen (auxiliary objectives), causale aannames of directe metingen op representatieniveau.

Het artikel concludeert dat representatie-identificeerbaarheid conditioneel is aan de toelaatbare klasse van factorisaties. Zonder beperkingen die de voorspeller-vezel verkleinen of specifieke vertegenwoordigers selecteren, blijft de interne structuur van een supergecontroleerd model ondergespecificeerd door het input-outputgedrag alleen.