Are You Measuring the Failure Subspace, or Its Ceiling?

Technische Samenvatting: "Meet je de falingssubruimte, of haar plafond?"

Probleemstelling
Een heersende empirische claim in de literatuur over Test-Time Adaptation (TTA) en Low-Rank Adaptation (LRA) is dat de subruimte die relevant is voor het aanpassen van een model—gedefinieerd door de span van per-sample gradiënten, Fisher-richtingen of "falingsrichtingen"—verrassend laagdimensionaal is. Methoden zoals GOLD [7] en diverse LRA-technieken steunen op de observatie dat een klein aantal eigenvectoren het overgrote deel van de energie in deze gradiënt-achtige vectoren ("demands") vangt.

Dit artikel betoogt echter dat voor de specifieke definities van "demands" die veelvuldig worden gebruikt (cross-entropie gradiënten, entropie gradiënten, en de Average Gradient Outer Product of AGOP), deze "laag-rang" observatie geen empirische ontdekking is met betrekking tot de data of de falingsmodus, maar een algebraïsche identiteit. Deze demands zijn wiskundig beperkt tot de rijruimte van de uiteindelijke classifier-gewichtsmatrix $W$. Bijgevolg kan hun covariantierang de aantal klassen $C$ (of $C-1$ voor zero-sum demands) niet overschrijden. Het artikel stelt dat de gerapporteerde laag-rang structuren simpelweg een herontdekking zijn van dit algebraïsche plafond, in plaats van bewijs voor een compacte, intrinsieke falingsdimensie.

Methodologie
Om onderscheid te maken tussen een algebraïsch plafond en een werkelijke laagdimensionale structuur, gebruiken de auteurs een gecontroleerd experimenteel ontwerp:

1. Algebraïsche Bewijzen: Het artikel stelt drie proposities vast die de rang-plafonds voor veelvoorkomende demands bewijzen:
   • Cross-Entropy (CE) & Entropie Gradiënten: Beperkt tot een hypervlak van maximaal dimensie $C-1$ vanwege de zero-sum eigenschap in de logit-ruimte.
   • AGOP: Beperkt tot de rijruimte van $W$, met een rang-plafond van maximaal $C$.
2. Ceiling-Free Demand: Om te meten wat er buiten deze plafonds ligt, construeren de auteurs een "vrije" demand ($d_{act}$) gebaseerd op activatie-ruimte aandelen ($A \odot -\nabla_A L$). Deze demand is geen afbeelding van $W^\top$ en kan theoretisch de volledige ambient feature-dimensie $D$ bezetten.
3. Gecontroleerde Sweep: Experimenten worden uitgevoerd op geneste subsets van CIFAR-100, waarbij het aantal klassen $C$ varieert van 2 tot 100, terwijl de architectuur, feature-breedte ($D$), per-klasse sample-aantal en optimalisatieprotocol constant worden gehouden.
4. Breedte-gevoeligheidstest: De auteurs verdubbelen de uiteindelijke representatie-breedte ($D$ van 256 naar 512) bij een vaste $C=100$ om te testen of de gemeten rang een eigenschap is van de taak of van de meetapparatuur.
5. Decompositie: Vrije demand-vectoren worden geprojecteerd op de rijruimte van $W$ ($P_{row(W)}d$) en het orthogonale complement ervan om de energieverdeling tussen de "ceiling"-component en de "tail" te analyseren.

Belangrijkste Resultaten

• Capped Demands zijn gekoppeld aan hun plafond: Voor CE, entropie en AGOP demands volgt de effectieve rang ($r_{90}$) nauwgezet het algebraïsche plafond. Bij $C=100$ bezetten deze demands 55–65% van hun maximaal mogelijke rang ($C$ of $C-1$). Naarmate $C$ toeneemt, neemt het fractie van het bezette plafond feitelijk af, wat aangeeft dat de ogenschijnlijke laag-rang structuur bij grote $C$ een resultaat is van het "leeglopen" van het plafond, en niet de opkomst van nieuwe structuur.
• De Free Demand overschrijdt het plafond en is breedte-gevoelig: De ceiling-free demand vertoont een effectieve rang die $C$ overschrijdt (bijv. 41.7 bij $C=20$) en groeit met $C$ op een snelheid die ongeveer twee keer zo hoog is als die van de capped demands. Cruciaal is dat wanneer de feature-breedte $D$ wordt verdubbeld, de effectieve rang van de free demand significant toeneemt (van 111 naar 191), terwijl de capped demands relatief stabiel blijven. Dit suggere than de rang van de free demand een functie is van de grootte van de ambient ruimte, en niet alleen van de taakcomplexiteit.
• Decompositie onthult een brede tail: Projectie van de free demand op $row(W)$ laat zien dat ~74% van de energie zich binnen de door de classifier geïnduceerde subruimte bevindt, wat exact de spectrale knik bij index $C$ reproduceert die bij capped demands wordt gezien. De resterende ~26% van de energie vormt een "brede, zwak gestructureerde, knik-vrije tail" die honderden dimensies beslaat. De rang van deze tail volgt de omvang van de ambient ruimte in plaats van een compacte intrinsieke dimensie.
• Herwaardering van GOLD: Het artikel heranalyseert de GOLD-methode en merkt op dat de claim van "sterke laag-rang concentratie" (top 64–128 eigenvectoren vangen >99% energie op CIFAR-100-C) tautologisch is, gezien het algebraïsche plafond van $C=100$. De gerapporteerde cijfers weerspiegelen de bezetting van de door de classifier geïnduceerde subruimte, niet een ontdekking van een verborgen laagdimensionale manifold in de volledige feature-ruimte.

Betekenis en Claims
Het artikel concludeert dat de stelling "de adaptatie-subruimte is verrassend laag-rang" twee verschillende objecten verward:

1. Een Algebraïsch Feit: Logit-afgeleide demands zijn beperkt tot $row(W)$ en kunnen de rang $C$ niet overschrijden. Dit is een stelling, geen bevinding.
2. Een Hypothetische Data-eigenschap: Een intrinsieke, compacte falingsdimensie. De auteurs vinden geen bewijs voor een dergelijke dimensie in hun experimenten; in plaats daarvan onthult het verwijderen van het algebraïsche plafond een brede, breedte-gevoelige tail.

Voorgestelde Verschuiving in Rapportage:
De auteurs betogen dat het rapporteren van enkel de "effectieve rang" onvoldoende en potentieel misleidend is voor ceiling-bound demands. Zij stellen voor dat toekomstig werk op dit gebied het volgende moet rapporteren:

• Ceiling-Genormaliseerde Effectieve Rang ($\rho_{ceil}$): De ratio van de effectieve rang tot het algebraïsche plafond, om empirische spectrale verval te scheiden van algebraïsche restricties.
• Row-Space Energy Share ($\rho$): Het fractie van de demand-energie die binnen $row(W)$ valt. Deze metriek is breedte-stabiel en kwantificeert direct de maximale energie die toegankelijk is voor elke methode die beperkt is tot de rijruimte van de classifier (wat de meeste huidige TTA/LRA-methoden omvat).

Het artikel beweert niet dat laag-rang methoden ineffectief zijn, maar dat hun succes niet toegeschreven moet worden aan een "verborgen laagdimensionale structuur" in de data, maar aan het feit dat zij opereren binnen de algebraïsche restricties van de classifier. De bruikbaarheid van de "tail" (de energie buiten $row(W)$) blijft een open vraag.