Technische Samenvatting: CORE-MTL

Probleemstelling

Multi-task learning (MTL) streeft naar het verbeteren van de efficiëntie van samples en robuustheid door een gedeelde encoder te trainen over meerdere gerelateerde taken. MTL lijdt echter vaak aan negatieve transfer, waarbij het optimaliseren voor één taak de prestaties op andere taken verslechtert, en vertoont een slechte generalisatie onder distributieverschuivingen (Out-of-Distribution of OOD).

Bestaande benaderingen opereren primair op het optimalisatieniveau, waarbij zij proberen taakconflicten te verzoenen via:

1. Gradient Balancing: Het herwegen of projecteren van gradiënten (bijv. GradNorm, PCGrad, STCH).
2. Architecturale Modificatie: Het routeren van taken naar specifieke segmenten van de backbone-features (bijv. MTAN).

De auteurs stellen dat deze methoden het leren van features behandelen als een "black box", waarbij de interne structuur van de gedeelde representatie wordt genegeerd. Wanneer de gedeelde representatie invariante semantische factoren (taak-relevant) verstrengelt met spurieuze residuele factoren (storende variaties zoals achtergrond of verlichting), kan gradiëntmanipulatie alleen de resulterende conflicten niet oplossen. Deze verstrengeling leidt tot een afhankelijkheid van "nuisance-driven shortcuts", wat zorgt voor een broze OOD-generalisatie.

Methodologie: CORE-MTL

De auteurs stellen Causal Orthogonal Representations for Multi-Task Learning (CORE-MTL) voor, een representatie-gecentreerd framework dat de focus verschuift van gradiëntchirurgie naar causaal gemotiveerde semantisch-residuele factorisatie.

1. Structurele Decompositie

CORE-MTL deelt de output van de gedeelde encoder $\Phi_\theta(x)$ op in twee afzonderlijke stromen:

• Semantische Stroom ($\hat{Z}_s$): Legt invariante, taak-relevante structuren vast (bijv. geometrie, objectidentiteit).
• Residuele Stroom ($\hat{Z}_r$): Absorbeert taak-irrelevante nuisance-variaties (bijv. textuur, verlichting, achtergrond).

Cruciale Beperking: Taakvoorspellers ($f_{\phi_t}$) worden beperkt tot het uitsluitend afhankelijk zijn van de semantische stroom $\hat{Z}_s$. Deze structurele isolatie voorkomt dat het model nuisance-signalen exploiteert als shortcuts tijdens het leren.

2. Trainingsdoelstellingen

Om deze decompositie af te dwingen en te garanderen dat de stromen hun beoogde rollen vervullen, hanteert CORE-MTL een verenigde doelstelling bestaande uit vier componenten:

• Taak-supervisie ($L_{task}$): Standaard verlies voor elke taak gebaseerd op $\hat{Z}_s$.
• Structurele Onafhankelijkheid ($L_{CKA}$): Gebruikt Centered Kernel Alignment (CKA) om de statistische afhankelijkheid tussen $\hat{Z}_s$ en $\hat{Z}_r$ te minimaliseren, wat stimuleert dat zij wederzijds exclusieve informatie vastleggen.
• Counterfactual Feature Augmentation ($L_{CFA}$): Synthetiseert counterfactual instanties door de semantische stroom van een afbeelding te combineren met een willekeurige residuele vector van een andere afbeelding ($\tilde{x} = D(\hat{Z}_s, \tilde{Z}_r)$). Het model wordt getraind om consistente taakvoorspellingen te behouden op deze gesynthetiseerde afbeeldingen, wat de invariantie van $\hat{Z}_s$ ten opzichte van nuisance-veranderingen afdwingt.
• Gronding via Reconstructie ($L_{rec}$): Een hulp-decoder reconstrueert de input vanuit $(\hat{Z}_s, \hat{Z}_r)$. Dit biedt een "grounding" signaal om willekeurige factorisatie te voorkomen. De auteurs implementeren twee varianten:
  • Hard Grounding: Gebruikt expliciete fysieke priors (bijv. inverse rendering met albedo- en lichtmodellen) voor gestructureerde scènes.
  • Soft Grounding: Gebruikt een generieke convolutionele decoder voor taken waar fysieke priors niet beschikbaar zijn, waarbij vertrouwd wordt op architecturale bottlenecks en statistische beperkingen.

3. Theoretische Garanties

Het artikel biedt een theoretische analyse onder een Lineair-Gaussiaans Structureel Causaal Model (SCM):

• OOD Ondergrens: Het bewijst dat voor elke optimalisatie-gecentreerde methode die werkt op verstrengelde representaties, er een onvermijdelbare OOD-fout ondergrens bestaat die proportioneel is aan de mate van verstrengeling ($\sin^2 \psi$).
• Ontstrengelde Bovengrens: Daarentegen garandeert de ontstrengelde architectuur van CORE-MTL een nauwere OOD-generalisatie-bovengrens die lineair schaalt met de "lekcoëfficiënt" (de gevoeligheid van de semantische stroom voor residuele factoren).
• Gradiënt Orthogonaliteit: Het framework induceert theoretisch gradiënt-orthogonaliteit tussen taak- en residuele verliezen als een structureel bijproduct van ontstrengeling, waardoor conflicten op representatieniveau worden opgelost in plaats van via post-hoc correctie.

Belangrijkste Bijdragen

1. Causaal Perspectief op MTL: De auteurs formaliseren de beperkingen van optimalisatie-gecentreerde methoden onder een latente SCM, en bewijzen dat het manipuleren van gradiënten op verstrengelde representaties de OOD-fouten niet kan elimineren.
2. CORE-MTL Framework: Een nieuw representatie-gecentreerd framework dat semantisch-residuele factorisatie afdwingt via fysieke of generieke grounding, waardoor negatieve transfer bij de bron wordt opgelost.
3. Empirische Superieuriteit: Uitgebreide experimenten tonen consistente verbeteringen aan ten opzien van tien representatieve baselines (inclusief GradNorm, PCGrad, STCH, MTAN) op zowel in-distributie (NYUv2, Cityscapes) als out-of-distribution (GTA5→Cityscapes, Cityscapes-C, Colored-Cityscapes) benchmarks.
4. Schaalbaarheid: De methode behoudt bijna constante trainingskosten naarmate het aantal taken toeneemt, waardoor de verboden lineaire schaling van gradiëntchirurgie-methoden zoals PCGrad wordt vermeden.

Experimentele Resultaten

• In-Distribution (ID): Op NYUv2 en Cityscapes behaalt CORE-MTL de beste algemene balans, waarbij top-prestaties worden geleverd in segmentatie, diepte-inschatting en oppervlaktenormaal-voorspelling.
• Out-of-Distribution (OOD):
  • Sim-to-Real (GTA5→Cityscapes): CORE-MTL behaalt de beste target-domein metrieken en de kleinste prestatiekloof ten opzichte van de source-prestaties.
  • Corruptie Robuustheid (Cityscapes-C): Presteert beter dan baselines onder diverse corrupties (contrast, onscherpte, mist, ruis), met name in scenario's met ernstige reductie van de zichtbaarheid.
  • Shortcut Stress Test (Colored-Cityscapes): In een benchmark waarbij klasse-kleuren tussen source en target zijn gepermuteerd, blijft CORE-MTL robuust, wat aantoont dat het niet leunt op spurieuze verschijningscorrelaties.
• Schaalbaarheid (CelebA): Naarmate het aantal taken toeneemt (tot 40 attributen), behoudt CORE-MTL een hoge nauwkeurigheid, terwijl gradiëntchirurgie-methoden (PCGrad) kampen met explosieve trainingstijden.

Betekenis en Claims

Het artikel claimt dat verstrengeling in gedeelde representaties, in plaats van het gradiënt-balanceringschema zelf, een primaire bron is van taakinterferentie en OOD-falen. Door het paradigma te verschuiven van "post-hoc gradiëntchirurgie" naar "intrinsieke representatie-ontstrengeling", biedt CORE-MTL:

• Een structurele oplossing voor taakconflicten, waardoor taken natuurlijk kunnen synergeren zonder rigide gradiëntcorrectie.
• Een nauwere theoretische bovengrens voor OOD-generalisatie.
• Een schaalbare oplossing voor multi-task learning die effectief blijft naarmate het aantal taken groeit.

De auteurs positioneren dit werk als een stap naar structuur-bewuste representatie-ontwerp voor robuust multi-task learning, waarmee zij verder gaan dan louter optimalisatie-gecentreerde coördinatie. Zij erkennen beperkingen en merken op dat hun theoretische garanties steunen op gestileerde lineair-Gaussiaanse aannames en dat de huidige instantie primair gericht is op dense scene understanding taken.