Technische Samenvatting: Multi-Doelgericht Leren voor Diffusiemodellen onder Semi-Gesuperviseerd Leren

1. Probleemstelling

Diffusiemodellen worden steeds vaker ingezet als conditionele generatoren voor diverse taken, zoals tekst-naar-beeld synthese over heterogene promptdomeinen of robotbesturing over meerdere omgevingen. Deze scenario's vormen van nature een Multi-Doelgericht Leren (MOL)-probleem, waarbij een enkel model Pareto-optimale prestaties moet behalen over meerdere doeldistributies.

Een centrale uitdaging in deze setting is de statistische kost van het trainen van een "generalist"-model. Om meerdere doelen te hanteren, vereist de generalist-modelklasse ($\mathcal{F}$) doorgaans aanzienlijk meer capaciteit dan de "specialist"-modelklassen ($\mathcal{H}_k$) die nodig zijn voor individuele taken. In volledig gesuperviseerde settings schaalt de steekproefcomplexiteit voor het trainen van de generalist met zijn eigen complexiteit ($C_\mathcal{F}$), wat vaak onaanvaardbaar hoog is.

Bovendien staan real-world implementaties vaak voor een asymmetrisch data-regime:

• Gekoppelde data $(x, y)$ (bijv. gecureerde tekst-beeldparen of expert-robotdemonstraties) zijn schaars en duur om te verkrijgen.
• Ongekoppelde conditionele data $y$ (bijv. ruwe tekstprompts of staatobservaties) zijn overvloedig.

Het artikel adresseert de volgende vraag: Kunnen we een Pareto-optimale diffusiemodel op een steekproef-efficiënte manier leren door gebruik te maken van zwak gesuperviseerde (ongelabelde conditionele) data?

2. Methodologie

De auteurs stellen een tweestaps semi-gesuperviseerd trainingskader voor dat de noodzaak van een hoog-capaciteit generalist verzoent met de schaarste aan gekoppelde data.

Stap 1: Specialist Training

Voor elk van de $K$ doelen (doeldistributies $P_k$) wordt een lichtgewicht specialist scorefunctie $h_k \in \mathcal{H}_k$ getraind met uitsluitend de beperkt beschikbare gekoppelde data $\{(x_i^k, y_i^k)\}_{i=1}^n$.

• De specialistklassen $\mathcal{H}_k$ worden verondersteld een aanzienlijk lagere complexiteit te hebben ($C_{\mathcal{H}_k} \ll C_\mathcal{F}$) dan de generalist-klasse.
• De training minimaliseert het denoising score matching-doel op de gekoppelde data.

Stap 2: Generalist Training via Pseudo-Sampling

Een groot generalist model $f \in \mathcal{F}$ wordt getraind om de Pareto-optimale set over alle doelen te benaderen.

• Pseudo-Staal Generatie: De getrainde specialisten $\{h_k\}$ worden gebruikt om pseudo-gekoppelde data te genereren. Voor elke overvloedige ongelabelde conditie $y_i^k \sim P_Y^k$ genereert de specialist een pseudo-doel $\tilde{x}_i^k \sim P_{h_k}(\cdot|y_i^k)$.
• Doel: De generalist wordt getraind op een combinatie van de originele gelabelde data en de gegenereerde pseudo-gekoppelde data. Het trainingsdoel minimaliseert een scalarisatie $S$ van de score matching-verliezen over alle $K$ doelen:
  $$\hat{f}_S = \arg\min_{f \in \mathcal{F}} S(\tilde{L}_1(f), \dots, \tilde{L}_K(f))$$
  waarbij $\tilde{L}_k$ het empirische verlies is berekend over de pseudo-stalen (met een correctieterm om de bias van de specialist in rekening te brengen).

Uitbreiding naar Sequentiële Besluitvorming

Het kader wordt uitgebreid naar diffusie-beleidsplannen in imitatie-leren. Hier is de "conditie" de staat $s$, en het "doel" de actie $a$. De auteurs adresseren de distributieverandering inherent aan on-policy rollouts: aangezien expert-staatdistributies moeilijk direct te stalen zijn, gebruikt de tweede stap trajecten gegenereerd door de geleerde specialist-beleidsplannen onder de omgevingsdynamiek om pseudo-data voor het generalist-beleid te verzamelen.

3. Belangrijkste Theoretische Bijdragen

Steekproefcomplexiteitsgrenzen

Het artikel stelt niet-asymptotische generalisatiegrenzen vast voor de voorgestelde semi-gesuperviseerde aanpak.

• Hoofdresultaat (Stelling 3.2): Het aantal vereiste gekoppelde (gelabelde) stalen om een doelfout $\epsilon$ te bereiken, hangt uitsluitend af van de complexiteit van de specialistklassen ($C_{\mathcal{H}_k}$), niet van de generalist-klasse ($C_\mathcal{F}$).
  • Vereiste gelabelde stalen: $\tilde{O}\left(\frac{K C_\mathcal{H}}{\epsilon^2}\right)$.
  • Vereiste ongelabelde condities: $\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$.
• Vergelijking: In tegenstelling hiermee vereist vanilla volledig gesuperviseerde training van de generalist $\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$ gelabelde stalen. Dit toont een aanzienlijke verbetering in steekproef-efficiëntie aan wanneer $C_\mathcal{F} \gg C_\mathcal{H}$.
• Lineaire Scalarisaties (Stelling 3.5): Voor lineaire (gewogen-som) scalarisaties en convexe functieklassen leiden de auteurs scherpere rates af, waarmee de grens voor de benaderingsfout verder wordt verfijnd.

Distributieschatting en Beleidsgaranties

• Distributieschatting: Het artikel overbrugt de kloof tussen score matching-fout en distributieschatting (Totale Variatie-afstand). Het bewijst dat de geleerde generalist Pareto-optimale prestaties bereikt bij het benaderen van de doel-conditionele distributies.
• Diffusie-beleidsplannen (Stelling 3.6): De auteurs bieden de eerste theoretische garantie op de sub-optimale kloof van diffusie-beleidsplannen in imitatie-leren onder semi-gesuperviseerde settings. Zij tonen aan dat het kader de distributieverandering veroorzaakt door on-policy rollouts succesvol aanpakt, terwijl het de steekproef-efficiëntievoordelen van de specialist-naar-generalist-pijplijn behoudt.

4. Experimentele Resultaten

De auteurs valideren hun theorie op twee distincte domeinen:

1. Robotische Manipulatie (StackCube & PickCube):

   • Opzet: Training van diffusie-beleidsplannen voor taken onder variërende domeinrandomisatie (scene, verlichting, camera-pose).
   • Resultaat: De semi-gesuperviseerde MOL-methode presteert significant beter dan een alleen-gelabelde baseline, vooral in Out-of-Distribution (OOD) settings (bijv. +16% slagingspercentage op StackCube Level 2, +14% op Level 3). Dit suggereert dat de pseudo-rollouts cruciale supervisie bieden voor het hanteren van distributieveranderingen.

2. Beeldherstel (CelebA-HQ Inpainting):

   • Opzet: Inpainting van gezichten met drie verschillende maskertypes (alternerende lijnen, gezichtsgebied, brede streep).
   • Resultaat: De semi-gesuperviseerde aanpak verbeterde PSNR, SSIM en LPIPS over alle maskertypes in vergelijking met de alleen-gelabelde baseline, wat de effectiviteit van de methode in generatieve beeldtaken aantoont.

5. Betekenis en Beweringen

Het artikel claimt een principiële statistisch kader te bieden voor multi-doelgericht leren in diffusiemodellen onder semi-gesuperviseerde regimes. De primaire betekenis ligt in:

• Overbruggen van Theorie en Praktijk: Het formaliseert de "specialist-naar-generalist" distillatie-pijplijn, en biedt een theoretische rechtvaardiging waarom deze aanpak steekproef-efficiënter is dan direct multi-taak leren wanneer gelabelde data schaars is.
• Steekproef-efficiëntie: Het bewijst dat de statistische kost van het leren van een complexe generalist kan worden ontkoppeld van zijn eigen capaciteit, en in plaats daarvan rust op de complexiteit van lichtgewicht specialisten getraind op beperkte data.
• Hanteren van Distributieverandering: Het breidt deze garanties uit naar sequentiële besluitvorming (imitatie-leren), en adresseert een kritieke praktische uitdaging in robotica.

De auteurs handhaven een bescheiden standpunt, en erkennen dat hun garanties rusten op een realiseerbaarheidsveronderstelling (dat de ware scorefuncties binnen de specialistklassen liggen) en momenteel geen Out-of-Distribution (OOD) generalisatie buiten de geteste specifieke domeinrandomisatieniveaus adresseren. Zij zien dit werk als een fundamentele stap naar het begrijpen van de statistische eigenschappen van semi-gesuperviseerd MOL voor generatieve modellen.