SigLino: Efficient Multi-Teacher Distillation for Agglomerative Vision Foundation Models

Probleemstelling

Het ontwikkelen van universele visuele representaties die uitstekend presteren over diverse waarnemingstaken blijft een fundamentele uitdaging. Bestaande benaderingen volgen meestal twee paden:

1. Modulaire Vision-Language Models (VLMs): Koppelen een visuele encoder aan een taalmodel. Deze zijn goed voor instructievolging, maar vaak niet native multimodaal en presteren slecht op dichte voorspellingstaken (zoals segmentatie).
2. Gespecialiseerde Foundation Models: Getraind op één supervisiebron (bijv. alleen tekst of alleen visueel). Deze excelleren in hun specifieke doel, maar missen de diepte voor algemeen visueel-taalbegrip.

Een nieuwe paradigma, Agglomeratieve Vision Foundation Models (VFMs), probeert deze krachten te verenigen door kennis te destilleren van meerdere leraren (teachers). Echter, bestaande methoden zijn computatiever intensief, vereisen enorme datasets, en kampen met stabiliteitsproblemen bij het trainen met variërende resoluties en meerdere verliesfuncties. De centrale vraag is of deze modellen efficiënter getraind kunnen worden zonder in te leveren op representatiekwaliteit.

Methodologie: SigLino

De auteurs introduceren SigLino, een efficiënt familie van agglomeratieve VFMs die kennis simultaan destilleert van twee krachtige leraren: SigLIP2 (voor beeld-taaluitlijning) en DINOv3 (voor dichte visuele begrip en geometrie).

De kernmethodologie omvat vier cruciale innovaties:

1. Architectuur: Mixture-of-Experts (MoE)

In plaats van een standaard ViT, gebruikt SigLino een MoE-architectuur met modale specifieke experts. Dit stelt het model in staat om complementaire signalen van de leraren te verwerken en gespecialiseerde experts te ontwikkelen voor specifieke taken (bijv. tekst-georiënteerde vs. geometrische features). De student voegt Register Tokens toe (geïnspireerd door DINOv3) om de globale representatie te verbeteren.

2. Asymmetrische Relationele Kennisdistillatie (ARKD)

Om de geometrische structuur van de leraren te behouden, introduceren de auteurs ARKD.

• Probleem: Traditionele relationele distillatie (RKD) probeert alle paarsgewijze relaties in een batch te matchen, wat kan leiden tot degradatie van kNN-prestaties (clustering).
• Oplossing: ARKD is asymmetrisch. Het past een verlies toe op basis van een drempelwaarde (mediaan van afstanden in de lerarenruimte):
  • Als twee samples dicht bij elkaar liggen in de lerarenruimte, worden ze dichter bij elkaar geduwd in de studentenruimte.
  • Als ze ver uit elkaar liggen, worden ze uit elkaar geduwd.
  • Dit fungeert als een regularisatieterm die de beeld-taaluitlijning versnelt (vooral voor DINOv3) zonder de clusteringkwaliteit te schaden.

3. Token-gebalanceerde Batching (Token-balanced Batching)

Trainen op native resoluties leidt tot grote variatie in het aantal tokens per afbeelding (bijv. een 256x256 afbeelding heeft veel minder tokens dan een 768x768 afbeelding). Dit veroorzaakt onbalans in de gradienten en instabiliteit.

• Techniek: De auteurs "pakken" meerdere afbeeldingen met verschillende resoluties in sequenties met een uniform token-budget per batch.
• Normalisatie: Het verlies wordt genormaliseerd op basis van het aantal tokens per afbeelding, niet per batch. Dit voorkomt dat hoog-resolutie afbeeldingen de gradienten domineren en zorgt voor stabiel leren zonder "catastrophic forgetting" van laag-resolutie features.

4. Data Curation: OpenLVD200M

In plaats van willekeurige steekproeven uit web-data, hebben de auteurs OpenLVD200M samengesteld (200 miljoen afbeeldingen).

• Methode: Ze gebruiken hiërarchische clustering op een grote dataset (DFN + LAION) om concepten te groeperen. Vervolgens wordt er uniform gesampled over deze hiërarchie.
• Doel: Dit zorgt voor een gebalanceerde dekking van visuele concepten, inclusief zeldzame en fijnkorrelige concepten, wat essentieel is voor efficiënte multi-teacher distillatie.

Kernresultaten

De auteurs evalueren SigLino op diverse benchmarks en vergelijken het met state-of-the-art modellen zoals RADIOv2.5 en TIPS.

• Algemene Prestaties: SigLino (zowel de dichte variant als de MoE-variant) overtreft bestaande agglomeratieve modellen op beeld-taal classificatie en kNN-classificatie, terwijl het 4,7x minder tokens gebruikt tijdens training dan RADIOv2.5.
• Efficiëntie: De MoE-variant (SigLino-MoE) bereikt vergelijkbare prestaties als de dichte variant, maar met slechts de helft van de actieve parameters, wat een uitstekende trade-off tussen efficiëntie en prestatie biedt.
• Grounding en VLM: Wanneer SigLino wordt gebruikt om een Early-Fusion Grounding VLM te initialiseren (waarbij visuele experts worden ingeladen in een taalmodel-architectuur), resulteert dit in aanzienlijk betere prestaties bij referentie-expressie taken (RefCOCO) vergeleken met training vanaf nul ("from scratch").
• Data Impact: Het gebruik van OpenLVD200M (gecurateerd) leidt tot significante verbeteringen (+4.15% gemiddeld) ten opzichte van willekeurige steekproeven, vooral op fijnkorrelige taken zoals FGVC-Aircraft (+18.64%).
• Stabiliteit: De combinatie van token-balanced batching en Gram-anchoring (voor het behoud van dichte features tijdens fine-tuning) voorkomt degradatie van ruimtelijke coherentie.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. OpenLVD200M: Een nieuw, zorgvuldig samengesteld dataset van 200 miljoen afbeeldingen die bewijst dat hiërarchische sampling superieur is voor multi-teacher distillatie.
2. ARKD: Een nieuwe verliesfunctie die de geometrische relaties van leraren behoudt zonder de clusteringkwaliteit te schaden, wat essentieel is voor het combineren van DINOv3 en SigLIP2.
3. Token-balanced Batching: Een trainingsstrategie die het trainen op native resoluties stabiliseert en efficiënter maakt door variabele token-counts te managen.
4. Efficiënte VLM Initialisatie: Het bewijs dat een gedestilleerd MoE-VFM een superieure basis vormt voor Early-Fusion Grounding VLMs, waardoor de noodzaak voor modulaire stacks (ViT -> LLM) wordt verminderd en prestaties met beperkte annotatie worden verbeterd.

Conclusie:
SigLino demonstreert dat agglomeratieve vision foundation models niet alleen krachtig, maar ook efficiënt kunnen worden getraind. Door slimme data-curatie, geavanceerde distillatiestralen (ARKD) en een robuuste trainingspipeline (token-balancing), slaagt het erin om de sterke punten van gespecialiseerde leraren te combineren in een compact, veelzijdig model dat state-of-the-art prestaties levert op zowel globale als dichte visuele taken.