Loss-Shift Transfer via Bayes Quotients

Technische Samenvatting: Loss-Shift Transfer via Bayes Quotients

Probleemstelling
Transfer learning wordt traditioneel geanalyseerd vanuit het perspectief van distributieverschuiving (distribution shift), waarbij de gezamenlijke wet $P(X, Y)$ verandert tussen de bron- en doelinstellingen. Dit artikel identificeert een orthogonale faalmodus die wordt aangeduid als loss shift (verliesverschuiving). In deze setting blijft de gezamenlijke distributie $P(X, Y)$ gelijk, maar verandert de predictieve verliesfunctie. Het kernprobleem is dat een representatie die is geoptimaliseerd voor een "grove" bron-loss (bijv. zero-one classificatie-accuratesse) informatie kan weggooien die irrelevant is voor het bron-doel, maar essentieel is voor een "fijnere" doel-loss (bijv. probabilistische voorspelling onder log-loss). Zodra een representatie is bevroren, kunnen downstream heads de weggegooide informatie niet meer herstellen, wat leidt tot een fundamentele transfer-fout, zelfs wanneer de datadistributie identiek is.

Methodologie en Theoretisch Kader
Het artikel formaliseert dit fenomeen met behulp van Bayes quotients, een concept afkomstig uit de besluitvormingstheorie en eigenschapselicatatie.

1. Bayes Quotients en Sufficiëntie: Voor een vaste distributie $P$ en een loss $\ell$, identificeert de Bayes quotient $q_{\ell, P}(X)$ de equivalentieklassen van inputs die dezelfde Bayes-optimale actie opleveren. Een representatie $H = h(X)$ is Bayes-sufficiënt voor $(P, \ell)$ als zij deze quotient behoudt (d.w.z. $\sigma(q_{\ell, P}(X)) \subseteq \sigma(H)$). Het is Bayes-minimaal als het precies deze quotient bevat.
2. Loss Preorder: Het artikel definieert een preorder $\preceq_P$ op losses gebaseerd op de verfijning van hun geïnduceerde Bayes quotients. $\ell_1 \preceq_P \ell_2$ als elke distinctie die vereist is door $\ell_1$ ook vereist is door $\ell_2$. Strikt verfijning ($\ell_1 \prec_P \ell_2$) impliceert dat $\ell_2$ strikt meer informatie vereist dan $\ell_1$.
3. Kwalitatieve Obstruction: Het centrale theoretische resultaat (Proposition 3.2) stelt dat als $\ell_{source} \prec_P \ell_{target}$, elke representatie die Bayes-minimaal is voor de bron-loss, insufficiënt is voor de doel-loss. Bij consequentie is de frozen-transfer excess risk strikt positief.
4. Kwantitatieve Identiteit voor Log Loss: Voor eindige output log-loss leidt het artikel een exacte identiteit af voor de frozen-transfer gap (Theorem 3.3). De excess risk is precies de conditionele wederzijdse informatie die verloren gaat:
   $$R^*_{\log, P}(H) - R^*_{\log, P}(X) = I(Y; X | H) = \mathbb{E} [ D_{KL}(P(Y|X) \parallel P(Y|H)) ]$$
   Dit kwantificeert de straf als de conditionele informatie over $Y$ die door de bevroren representatie $H$ wordt weggegooid.

Belangrijkste Bijdragen

• Identificatie van Loss Shift: Het artikel vestigt loss shift als een onderscheidende transfer-faalmodus, gescheiden van distributieverschuiving, waarbij de verandering van de doelstelling andere representaties vereist, zelfs bij een identieke datadistributie.
• Representatie-theoretische Substraat: Het maakt gebruik van het Bayes-sufficiënte quotient-kader om losses te ordenen op basis van verfijning, wat een rigoureus mechanisme biedt om de informatieve eisen van verschillende doelstellingen te vergelijken.
• Exacte Karakterisering van de Transfer Penalty: Voor log-loss biedt het artikel een exacte informatie-theoretische formule voor de transfer gap, die deze direct koppelt aan conditionele wederzijdse informatie en verwachte KL-divergentie.
• Binair Classificatie Voorbeeld: Het demonstreert expliciet dat een accuratesse-minimale representatie (die alleen de Bayes-klasse behoudt) insufficiënt is voor log-loss voorspelling, die een volledige conditionele waarschijnlijkheidsvector vereist.

Experimentele Resultaten
Het artikel valideert de theorie via vier experimentele settings waarbij $P(X, Y)$ vast staat, maar de loss verandert:

1. Gecontroleerd Binair Model: Een synthetisch discreet model waar de Bayes quotient voor classificatie exact bekend is. De resultaten tonen aan dat een representatie die alleen de Bayes-klasse ($S$) behoudt, identieke accuratesse bereikt als de volledige representatie ($X$), maar een aanzienlijk hogere Negative Log Likelihood (NLL) met zich meebrengt. De empirische NLL-gap komt met hoge precisie overeen met de theoretische conditionele-KL gap (correlatie > 0,999).
2. Learned Bottleneck Representaties: Met behulp van een geleerde MLP met een bottleneck en bron-tijd ruis, laat de studie zien dat een representatie die getraind is voor classificatie-accuratesse (hinge loss) en daarna bevroren wordt, faalt in het bereiken van optimale log-loss prestaties downstream. Het fine-tunen van de encoder herstelt de prestaties, wat bevestigt dat de informatie aanwezig was in $X$ maar werd weggegooid door de bevroren representatie.
3. dSprites Beeldexperiment: Een beeldgebaseerde setup met latente factoren voor klasse ($S$) en waarschijnlijkheidsniveau ($T$). Representaties getraind met hinge loss behielden $S$ maar comprimeerden $T$, wat leidde tot een hogere NLL vergeleken met representaties getraind met log loss, die meer informatie over $T$ behielden.
4. CIFAR-10H Menselijke Labels: Gebruikmakend van menselijke soft-label distributies, vergelijkt het artikel hard-label (meerderheidsstemming) training tegenover soft-label training. Frozen encoders getraind op hard-labels, ondanks het behalen van vergelijkbare majority-label accuratesse, presteren significant slechter op soft-label NLL en KL-divergentie, vooral bij ambigue afbeeldingen waar menselijke onzekerheid hoog is.

Significantie en Claims
Het artikel claimt dat de bruikbaarheid van een representatie wordt bepaald door het paar $(P, \ell)$. Een representatie kan optimaal zijn voor de ene loss en intrinsiek insufficiënt voor een andere, zelfs wanneer de bron- en doeldata uit dezelfde distributie worden getrokken.

De significantie ligt in het aanvullen van distributieverschuiving als een fundamentele mechanism in transfer learning. Het identificeert dat frozen transfer niet alleen faalt wanneer de data verandert, maar ook wanneer de doelstelling verandert, specifiek wanneer de doel-loss de bron-loss strikt verfijnt. Het kader biedt een diagnostisch instrument: als een bevroren representatie gecomprimeerd is ten opzichte van de doel-loss quotient, kunnen downstream heads de weggegooide doel-relevante informatie niet herstellen. Dit verklaart waarom classificatie-equivalente representaties verschillende optimale log-loss prestaties kunnen hebben en motiveert het gebruik van doel-gealigneerde losses tijdens de pretraining of het vermijden van agressieve compressie wanneer de downstream taak fijnere probabilistische distincties vereist.