💻 computer science

Twins: Learn to Predict Unified Representations with Focal Loss

Het artikel stelt "Twins" voor, een verenigde continue tokenruimte die ViT- en VAE-kenmerken concateneert, en adresseert het resulterende optimalisatie-imbalans in diffusiemodellen door een focale regressie-objectief aan te passen om zowel de beeldgeneratiekwaliteit als de multimodale begrijpingsprestaties aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

Gepubliceerd 2026-07-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te bouwen die zowel de wereld kan zien zoals een mens, als plaatjes kan schilderen zoals een kunstenaar. In de wereld van kunstmatige intelligentie vereisen deze twee taken meestal volkomen verschillende gereedschapskisten. Om te "zien" en een afbeelding te begrijpen (zoals weten dat een foto een "golden retriever" laat zien), gebruikt AI een intellectuele, hoogwaardige kaart die de grote ideeën vastlegt maar kleine details zoals de textuur van de vacht negeert. Om te "schilderen" of een nieuwe afbeelding te genereren, heeft de AI een andere tool nodig die elk afzonderlijk pixel en fijn detail vasthoudt, maar vaak de betekenis van het grote plaatje verliest. Lange tijd waren wetenschappers blijven steken in de poging om deze twee verschillende tools samen te laten werken, waarbij ze vaak moesten kiezen tussen een robot die goed begrijpt maar wazige plaatjes schildert, of een robot die prachtig schildert maar niet weet wat hij aan het tekenen is. Dit artikel pakt die lastige balans aan met de vraag: kunnen we één enkele "taal" voor de robot creëren waarmee hij beide perfect tegelijkertijd kan doen?

De onderzoekers achter deze studie, bekend als "Twins", besloten te stoppen met het kiezen tussen de twee tools en ze in plaats daarvan aan elkaar te lijmen. Ze namen de "intellectuele" kaart (van een systeem genaamd SigLIP) en de "detailgeoriënteerde" kaart (van een systeem genaamd VAE) en naften ze zij aan zij aan elkaar tot één lange strook informatie. Denk erbij aan het geven van een bril aan je robot waarbij de linker lens het grote plaatje ziet en de rechter lens de fijne details ziet, allemaal in één gezichtsveld. Echter, toen ze hun AI-model probeerden te leren deze nieuwe gecombineerde kijk te gebruiken, liepen ze tegen een probleem aan. Het model was lui; het hield van het makkelijke, grote plaatje en negeerde het moeilijke, gedetailleerde deel volledig, wat resulteerde in gegenereerde afbeeldingen die wazig waren en textuur misten.

Om dit op te lossen, ontdekten het team waarom het model zo lui was. Ze vonden dat het "makkelijke" deel van de data glad en eenvoudig was, terwijl het "moeilijke" deel vol zat met complexe, ruisachtige details. De AI gaf van nature de voorkeur aan de gladde zaken, net zoals een student de moeilijke wiskundevragen zou overslaan om eerst de makkelijke spellingvragen te maken. Om dit op te lossen, vonden ze een speciale trainingsregel uit genaamd "Focal Loss". Stel je een leraar voor die, in plaats van elke vraag even zwaar te wegen, extra punten geeft voor het goed beantwoorden van de moeilijkste vragen. Dit dwong de AI om aandacht te besteden aan de moeilijke, gedetailleerde delen van de afbeelding die hij probeerde te leren.

De resultaten waren indrukwekkend. Door deze nieuwe "Focal Loss"-regel te gebruiken, stopte de AI met het negeren van de details. Op een standaardtest voor beeldkwaliteit verbeterde de nieuwe methode de score met wel 10,57 punten vergeleken met de oude manier van trainen, zonder dat er extra trucjes nodig waren om het te begeleiden. De door de AI gegenereerde afbeeldingen waren scherp en helder, en de robot kon nog steeds even goed begrijpen wat hij aan het tekenen was als voorheen. Het artikel suggereert dat deze aanpak succesvol de oude "onmogelijke driehoek" doorbreekt waarbij je voor de ene vaardigheid de andere moest opofferen, en bewijst dat een AI-model met de juiste trainingstrucs werkelijk beide kan beheersen: zowel zien als creëren.

Technische Samenvatting: Twins: Leer het voorspellen van verenigde representaties met Focal Loss

1. Probleemstelling

Verenigde multimodale modellen streven ernaar om een enkel model en een gedeelde representatieruimte te gebruiken om zowel multimodale begripsvermogens als beeldgeneratie te ondersteunen. Bestaande benaderingen kampen met een hardnekkige afruil, vaak beschreven als een "onmogelijke driehoek" tussen Begrip (Understanding), Reconstructie (Reconstruction) en Generatie (Generation):

Discrete Methoden: Verenigen de interface via een gedeelde codebook, maar hebben vaak moeite met de getrouwheid van de reconstructie of vereisen complexe tokenisatie.
Continue Methoden: Vertrouwen doorgaans op twee uiteenlopende representaties: hoogwaardige semantische kenmerken (bijv. ViT) voor begrip en laagwaardige latents (bijv. VAE) voor synthese. Deze splitsing creëert mismatchende latente ruimtes, waardoor systemen extra decode–encode rondjes moeten uitvoeren om hun eigen generaties te "begrijpen", wat de representatieve consistentie doorbreekt.
Recente Pogingen: Methoden zoals UniFlow en UniLip proberen verenigde representaties te verkrijgen door hoogdimensionale CLIP-kenmerken te comprimeren, maar deze dimensionaliteitsreductie gaat ten koste van het begripsvermogen. Omgekeerd falen benaderingen zoals RAE die hoogdimensionale semantische embeddings (bijv. DINOv2) genereren bij het reconstrueren van hoogfrequente details, wat resulteert in een slechte beeldkwaliteit.

De kernuitdaging is het verkrijgen van een enkele continue representatie die tegelijkertijd sterke semantische begripskracht, hoogwaardige reconstructie en generatievriendelijke voorspelbaarheid ondersteunt zonder de computationele overhead (bijv. attention kosten) te verhogen.

2. Methodologie

2.1. De Twins Representatie

De auteurs stellen Twins voor, een verenigde continue tokenruimte gevormd door het kanaalsgewijs concateneren van kenmerken van twee voorgetrainde encoders op hetzelfde tokengrid:

ViT Component: Semantisch rijke kenmerken van SigLIP2, geoptimaliseerd voor discriminerende semantische redenering.
VAE Component: Detailbewarende latents van Flux.2 VAE, geoptimaliseerd voor pixel-niveau reconstructietrouw.

Door te concateneren langs de kanaaldimensie in plaats van de sequentiedimensie, behoudt Twins de oorspronkelijke sequentielengte. Dit zorgt ervoor dat de kwadratische attention-kosten ( $O(L^2)$ ) niet toenemen met het aantal tokens, wat de computationele efficiëntie waarborgt.

2.2. De Optimalisatie-imbalans

Wanneer een Diffusion Transformer (DiT) wordt getraind om de verenigde Twins-representatie te voorspellen, observeerden de auteurs een ernstige optimalisatie-imbalans: het model past goed aan op de ViT (SigLIP) component, maar heeft moeite met het matchen van de VAE-latentverdeling, wat leidt tot wazige beelden en slechte FID-scores.

De paper schrijft deze imbalans toe aan drie bronnen van heterogeniteit:

Spectrale Bias: ViT-kenmerken worden gedomineerd door laagfrequente signalen, terwijl VAE-kenmerken significante hoogfrequente energie bevatten (textuur, ruis). Neurale netwerken geven van nature prioriteit aan het leren van laagfrequente functies (Spectral Bias theorie), waardoor de DiT eerst de ViT-kenmerken aanpast en de VAE-details behandelt als moeilijke ruis.
Intrinsieke Dimensionaliteit (ID): Hoewel SigLIP een hogere fysieke dimensie heeft (768) dan de VAE (128), is de intrinsieke dimensie aanzienlijk lager (~15 vs. ~35). De laag-ID SigLIP-manifold is gemakkelijker te leren, terwijl de hoog-ID VAE-manifold een complexere optimalisatie-omgeving presenteert.
Conditionele Afhankelijkheid: SigLIP-kenmerken zijn sterk gestructureerd en conditie-gealigneerd (deterministisch gegeven een klasse-label), terwijl VAE-kenmerken aanzienlijke conditie-onafhankelijke onzekerheid behouden. Het model geeft van nature prioriteit aan de voorspelbare, conditie-gealigneerde doelstelling.

2.3. Focal Loss voor Flow Matching

Om deze imbalans aan te pakken, passen de auteurs een Focal Loss strategie aan voor de Flow Matching doelstelling. In plaats van de standaard Mean Squared Error (MSE) te gebruiken die alle dimensies gelijk behandelt, introduceren zij een herwegingsschema voor de VAE-kanalen:

De verliesfunctie wijst hogere straffen toe aan "moeilijke" residuen (grote fouten) op de VAE-dimensies.
De weegfactor wordt gedefinieerd als $w_i = |v_i - v_\theta(z, t)_i|^{2\gamma}$ , waarbij $\gamma$ is ingesteld op 0.5.
Dit dwingt het model om zich te concentreren op de moeilijk te leren hoogfrequente VAE-kenmerken, waardoor voorkomt dat de optimalisatie stagneert in een lokaal optimum dat gedomineerd wordt door de makkelijkere ViT-kenmerken.

3. Belangrijkste Bijdragen

Verenigde Representatie (Twins): Een eenvoudige, efficiënte kanaalsgewijze concatenatie van ViT- en VAE-kenmerken die zowel begrip als generatie ondersteunt zonder de sequentielengte of attention-kosten te verhogen.
Analyse van Imbalans: Een systematische identificatie en analyse van de optimalisatie-imbalans bij gezamenlijke modellering, waarbij deze wordt toegeschreven aan spectrale bias, intrinsieke dimensionaliteit en conditionele afhankelijkheid.
Focal Loss Adaptatie: De toepassing van een focal herwegingsstrategie op Flow Matching, die de imbalans effectief mitigeert door de moeilijke VAE-dimensies zwaarder te wegen.
Prestatiewinst: Demonstratie dat deze aanpak substantiële verbeteringen in generatie oplevert ten opzichte van een naïeve MSE-loss, terwijl het competitieve multimodale begrip prestaties behoudt.

4. Experimentele Resultaten

4.1. Reconstructie

Op de ImageNet-1K validatieset bereikt Twins state-of-the-art reconstructiemetrieken onder de verenigde tokenizers:

PSNR: 31.46
SSIM: 0.90
rFID: 0.11
Twins presteert aanzienlijk beter dan RAE (PSNR 18.83) en evenaart de reconstructiekwaliteit van dedicated generatieve autoencoders zoals Wan2.2 en SD-VAE 3, wat bewijst dat de verenigde representatie pixel-perfecte consistentie behoudt.

4.2. Multimodale Begrip

Wanneer geïntegreerd in een VLM-pipeline (met gebruik van Qwen2.5-7B), presteert Twins competitief tegenover gespecialiseerde encoders:

Het presteert over het algemeen beter dan de sterke SigLIP2 baseline.
De inclusie van laag-niveau VAE-kenmerken levert verbeteringen op voor fijnmazige taken zoals GQA (64.93 vs. 64.54) en TQA (58.89 vs. 56.92), toe te schrijven aan het behoud van textuur en exacte vormdetails die vaak worden geabstraheerd door enkel semantische encoders.

4.3. Beeldgeneratie

Op ImageNet@256 en @512:

Zonder Guidance: De baseline Twins-modellen met MSE-loss vertonen een slechte FID (gedegradeerd vergeleken met de Flux.2 VAE baseline). Het toepassen van Focal Loss verbetert de voorspelling van VAE-kenmerken aanzienlijk, waardoor de FID daalt van 14.41 (MSE) naar 3.84 (Focal Loss) bij 80 epochs.
Met Guidance: Twins bereikt een sterke gFID van 1.59 (ImageNet@256) en 1.79 (ImageNet@512) met classifier-free guidance.
Afruil Resolutie: Hoewel RAE een iets lagere FID bereikt, presteert Twins aanzienlijk beter dan RAE in reconstructiekwaliteit (PSNR), waarmee het de kloof tussen begrip-georiënteerde en generatie-georiënteerde representaties succesvol verkleint.

5. Betekenis en Claims

De paper claimt dat Twins erin slaagt de "onmogelijke driehoek" van visuele tokenisatie te doorbreken door een verenigde representatie te construeren die expliciet semantisch rijke ViT-kenmerken fuseert met detailbewarende VAE-kenmerken.

De betekenis ligt in:

Eenvoud: Het vermijdt complexe architecturale herontwerpen of extra residuele encoders, en vertrouwt in plaats daarvan op de directe concatenatie van kant-en-klare encoders.
Gebalanceerde Optimalisatie: Het identificeert en lost de specifieke faalmodus op waarbij DiTs hoogfrequente details negeren in verenigde ruimtes, en biedt een generaliseerbare oplossing (Focal Loss) voor de gezamenlijke modellering van heterogene kenmerken.
Verenigde Interface: Het stelt een model in staat om zowel te begrijpen als te genereren in dezelfde tokenruimte, waardoor de noodzaak voor extra decode–encode stappen wordt geëlimineerd en representatieve consistentie over taken heen wordt gewaarborgd.

De auteurs concluderen dat hoewel het gezamenlijk modelleren van heterogene kenmerken niet triviaal is, de voorgestelde strategie een nieuwe baseline vestigt voor verenigde representatiegeneratie, wat de hoogwaardige voorspelling van zowel semantische als fijnmazige latents in een enkel framework mogelijk maakt.