🤖 AI

RADIO1D: Elastic Representations for Condensed Vision Modeling

Het artikel introduceert RADIO1D, een nieuwe aanpak die de afhankelijkheid van vaste 2D patch-gebaseerde kenmerken uitdaagt door afbeeldingen te comprimeren tot compacte, variabel lengte 1D-tokensequenties via kennisdestillatie en autoencoding, waardoor flexibele nauwkeurigheid-efficiëntie-afwegingen en superieure prestaties in visie-taalmodellen mogelijk worden.

Oorspronkelijke auteurs: Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Te Veel "Ruis" in het Beeld

Stel je voor dat je een complexe scène (zoals een drukke straat) probeert te beschrijven aan een vriend via een telefoongesprek.

Huidige AI (De Oude Manier): De meeste Vision-Language Models (VLM's) kijken naar een foto en breken deze af in een star raster van duizenden kleine vierkantjes (zoals een gepixelde mozaïek). Om de foto te beschrijven, moet de AI een lange, gedetailleerde lijst van elk afzonderlijk vierkantje naar de "hersenen" (het taalmodel) sturen. Het is also al een transcript van 1.000 pagina's sturen van elk geluid in de kamer, inclusief het achtergrondgezoem, alleen maar om te zeggen: "er is een hond."
Het Probleen: Het artikel stelt dat dit inefficiënt is. De "hersenen" hebben niet elk afzonderlijk vierkantje nodig; ze hebben de kern van de scène nodig. Bovendien ontdekten de auteurs dat naarmate deze AI-modellen worden getraind om te praten en te begrijpen, ze de exacte rasterindeling eigenlijk ook loslaten en zich gaan concentreren op de "grote lijn" van de betekenis.

De Oplossing: RADIO1D (De "Elastische Samenvatting")

De auteurs hebben een nieuwe methode ontwikkeld genaamd RADIO1D. Beschouw dit als een slimme samenvatter die een foto met een hoge resolutie verandert in een flexibele, korte lijst van "kernpunten" (tokens) in plaats van een star raster.

Zo werkt het, met behulp van analogieën:

1. De "Slimme Persing" (Elastische Compressie)

Stel je voor dat je een koffer vol kleding hebt (de afbeelding).

Oude Manier: Je moet elk item in een vast rasterpatroon inpakken. Als je een klein shirt en een grote jas hebt, nemen ze nog steeds evenveel "rasterruimte" in beslag.
RADIO1D Manier: Je gebruikt een vacuümzak. Als de afbeelding simpel is (een blauwe lucht), krimpt de zak tot slechts één token (één klein pakketje). Als de afbeelding complex is (een drukke markt), breidt de zak zich uit naar 256 tokens.
Het Voordeel: Je kunt kiezen hoeveel "ruimte" (rekenkracht) je wilt gebruiken. Heb je een snel antwoord nodig? Gebruik 1 token. Heb je een gedetailleerde analyse nodig? Gebruik 256. Het model past zich aan aan de complexiteit van de afbeelding.

2. De "Meesterchef"-training (Multi-Teacher Distillation)

Hoe hebben ze de AI hiervoor geleerd? Ze hebben hem niet slechts één ding geleerd. Ze gebruikten een "Meesterchef"-aanpak.

Ze namen drie verschillende expert AI-modellen (leraren):
- Eén die goed is in het koppelen van plaatjes aan tekst (SigLIP2).
- Eén die goed is in het herkennen van details en texturen (DINOv3).
- Eén die goed is in het vinden van objectgrenzen (SAM3).
Ze trainden hun nieuwe model (de student) om naar alle drie de leraren tegelijk te luisteren. De student leerde om de "globale betekenis" van de ene leraar te combineren met de "ruimtelijke details" van de anderen, waardoor een superefficiënte samenvatting ontstond.

3. De "Nested Dropout" (De Hiërarchie van Belangrijkheid)

Dit is het slimste deel. Het model wordt getraind met een spel genaamd "Nested Dropout".

Stel je een stapel flashcards voor. De bovenste kaart heeft het hoofdonderwerp ("Het is een hond"). De volgende kaart heeft een detail ("Het is bruin"). De onderste kaarten hebben kleine details ("Het heeft een gescheurd oor").
Tijdens de training wordt de AI gedwongen om de onderste kaarten willekeurig weg te gooien.
Het Resultaat: De AI leert dat de eerste kaart (de eerste token) de belangrijkste informatie moet bevatten, omdat dit de enige is die gegarandeerd blijft bestaan. Dit creëert een "hiërarchie" waarbij de eerste token een krachtige samenvatting van de hele afbeelding is, en latere tokens optionele details toevoegen.

Wat hebben ze gevonden? (De Resultaten)

1. Eén Token is Genoeg voor de "Kern"
Het artikel laat zien dat RADIO1D een scène kan begrijpen met slechts één enkele token.

Analogie: Het is alsof je naar een wazige thumbnail van een foto kijkt en direct weet: "Dat is een feestje met een taart."
In tests kon het gebruik van slechts de eerste token de AI in staat stellen om de belangrijkste objecten in een scène te identificeren met een verrassende nauwkeurigheid, veel beter dan andere modellen die hetzelfde probeerden te doen met één samenvattingspunt.

2. De Afweging tussen Snelheid en Nauwkeurigheid
Omdat het aantal tokens flexibel is, kun je het model afstemmen als een radioknop:

Laag Tokenaantal (Snel): De AI geeft antwoorden in milliseconden, maar kan kleine details missen (zoals het lezen van een klein bordje in een foto).
Hoog Tokenaantal (Nauwkeurig): De AI doet er iets langer over, maar kan tekst lezen en fijne details zien.
Het artikel laat zien dat RADIO1D sneller en nauwkeuriger is dan huidige methoden bij bijna elke instelling.

3. Beter in "Scènecompositie"
De auteurs creëerden een nieuwe test om te zien of de AI begrijpt hoe dingen zijn gerangschikt, en niet alleen wat er aanwezig is.

Analogie: Als je vraagt: "Is de kat op de mat of onder de tafel?", zal een standaard AI misschien alleen zeggen: "Kat, Mat, Tafel." RADIO1D begrijpt de relatie beter. Zelfs met zeer weinig tokens kon het het verschil tussen een "hond die een bal achtervolgt" en een "bal die een hond achtervolgt" beter begrijpen dan eerdere modellen.

De Kern van het Verhaal

Dit artikel daagt het idee uit dat AI een foto moet bekijken als een star raster van pixels. In plaats daarvan bewijst RADIO1D dat AI beter werkt wanneer het afbeeldingen behandelt als een flexibel verhaal:

Het comprimeert de afbeelding tot een variabele lijst van "kernideeën".
Het leert de belangrijkste idee eerst te plaatsen.
Het stelt gebruikers in staat om snelheid tegenover detail af te wegen tijdens het gebruik.

De auteurs concluderen dat voor Vision-Language Models, samenvatting belangrijker is dan ruwe detailinformatie. De AI hoeft niet elk pixel te zien; de AI heeft alleen de juiste "samenvattings-tokens" nodig om de wereld te begrijpen.

Technische Samenvatting: RADIO1D: Elastische Representaties voor Gecondenseerde Visuele Modellering

1. Probleemstelling

Huidige Vision-Language Models (VLM's) vertrouwen voornamelijk op visuele encoders die vaste, 2D-gridgebaseerde patch-representaties outputten (bijv. CLIP, SigLIP, SigLIP2). De auteurs dagen de aanname uit dat deze rigide 2D-structuren optimaal zijn voor VLM's. Hun analyse onthult twee kritieke problemen:

Verlies van Ruimtelijke Coherentie: Tijdens het fine-tunen van VLM's worden visuele representaties steeds abstracter en verliezen ze hun inherente ruimtelijke organisatie.
Inefficiëntie van Vaste Grids: Natuurlijke afbeeldingen vertonen sterke ruimtelijke correlaties, wat betekent dat patch-gebaseerde representaties aanzienlijke redundantie bevatten. Vaste 2D-grids slagen er niet in deze structuur efficiënt te comprimeren, wat leidt tot suboptimale rate-distortion trade-offs onder beperkingen van sequentielengte en rekenkracht.
Misalignement van Doelstellingen: Hoewel contrastieve modellen (zoals SigLIP2) goed uitlijnen met tekst, missen ze vaak een dichte ruimtelijke coherentie. Omgekeerd bezitten dichte modellen (zok als DINOv3) wel ruimtelijke coherentie, maar worden ze zelang niet als VLM-backbones gebruikt, wat suggereert dat ruwe tekst-uitlijning niet de enige determinant is voor het succes van een VLM; in plaats daarvan kan samenvattingsvermogen (summarization capability) crucialer zijn.

2. Methodologie: RADIO1D

De auteurs stellen RADIO1D voor, een methode die afbeeldingen comprimeert tot een compacte, variabele 1D-tokensequentie. De aanpak is gebaseerd op het Information Bottleneck-principe, met als doel de wederzijdse informatie tussen de representatie en de doeltaak te maximaliseren, terwijl de representatieve entropie wordt geminimaliseerd.

Kernarchitectuur

1D Elastische Sequentie: In tegenstelling tot standaard ViT's die een vaste $N \times N$ grid outputten, genereert RADIO1D een sequentie van $\ell$ tokens waarbij $\ell$ variabel is.
Hiërarchische Samenvatting: Door middel van nested dropout tijdens de training wordt het model gedwongen om globale, hoogwaardige semantiek te coderen in de initiële tokens (bijv. de eerste token) en fijnere details in de daaropvolgende tokens. Dit stelt het model in staat om effectief te functioneren met slechts één enkele token.
Autoencoder Ontwerp voor Training:
- Encoder: Een pure 1D-encoder verwerkt platgeslagen (flattened) image patches. Het integreert Patch Merging (pixel unshuffling) blokken direct in de backbone om de sequentielengte te reduceren en de embeddingdimensie te vergroten, wat de efficiëntie tijdens de inferentie verbetert.
- Decoder: Een lichtgewicht Vision Transformer die alleen tijdens de training wordt gebruikt. Deze neemt de variabele-lengte 1D-tokens en een set van gedupliceerde leerbare query-tokens en reconstrueert een 2D patch-grid. Dit stelt het model in staat om uit te lijnen met 2D-teacher modellen zonder de 2D-structuur af te dwingen op de kern 1D-representatie.
Multi-Teacher Knowledge Distillation: Het student-model wordt getraind via agglomeratieve distillatie van meerdere foundation models (SigLIP2, DINOv3, SAM3). Adapters projecteren de student-features naar de embedding spaces van de teachers, waarna gelijkenis-losses (MSE of cosine) worden berekend. Dit aggregeert diverse visuele kennis (globale uitlijning, dichte ruimtelijke features, segmentatieconcepten) in een verenigde student.

Trainingsstrategie

Stochastische Slicing: Tijdens de training wordt een lengte $\ell$ gesampled uit een distributie (bijv. een driehoeksverdeling) om te bepalen hoeveel tokens behouden blijven. Dit dwingt de hiërarchische ordening van informatie af.
Integratie van Downscaling: Het model leert features intern te downscalen via leerbare Patch Merging, in plaats van te vertrouwen op post-hoc operaties die 2D-lokaliteit veronderstellen.

3. Belangrijkste Bijdragen

Analyse van Visuele Features: Het paper toont aan dat VLM fine-tuning de ruimtelijke coherentie in standaard encoders degradeert. Het identificeert dat beeld-tekst uitgelijnde modellen (zoals SigLIP2) van nature een kleine set gespecialiseerde "globale" tokens ontwikkelen die de inhoud van de afbeelding samenvatten, een eigenschap die RADIO1D expliciet benut.
RADIO1D Architectuur: Een nieuwe methode om afbeeldingen te comprimeren tot flexibele 1D-sequenties met behulp van multi-teacher distillatie en een autoencoder-achtige trainingsloop.
Sterke Samenvatting: Het model bereikt een nauwkeurige scène-interpretatie met zeer weinig tokens (vaak slechts één token), wat een effectieve compressie van essentiële visuele inhoud aantoont.
Composition-Aware Retrieval Metric: De auteurs introduceren een nieuwe evaluatiemetriek die niet alleen de aanwezigheid van objecten beoordeelt, maar ook de ruimtelijke ordening (grootte en locatie) bij beeldextractie, waarbij RADIO1D standaard encoders hierin overtreft.
Flexibele VLM Integratie: RADIO1D maakt een aanpasbare nauwkeurigheid-efficiëntie trade-off mogelijk door het aantal tokens te variëren, wat concurrerende prestaties biedt over diverse multimodale benchmarks met verminderde computationele overhead.

4. Experimentele Resultaten

Samenvattingsvermogen: Op ImageNet-1k bereikt de eerste token van RADIO1D een k-NN Top-1 nauwkeurigheid van 85,0%, wat de laatste token aanzienlijk overtreft. Op ADE20K semantische segmentatie levert het gebruik van enkel de eerste token een mIoU op van 40,23, vergeleken met 8,05 voor de laatste token.
Rate-Distortion Prestaties: RADIO1D vertoont consistent lagere distortie dan vaste-grid baselines (SigLIP2, DINOv3, C-RADIOv4) over alle token-budgetten, met name in het lage-rate regime (weinig tokens).
VLM Prestaties: In combinatie met een 9B Nemotron LLM presteren RADIO1D varianten beter dan baselines (SigLIP2, C-RADIOv4), zelfs met minder tokens.
- 1 Token: Behaalt een gemiddelde nauwkeurigheid van 51,5% op 10 VLM benchmarks.
- 128 Tokens: Behaalt een gemiddelde nauwkeurigheid van 71,64%, waarmee het C-RADIOv4+ToMe (70,31%) en C-RADIOv4+CDPruner (69,05%) overtreft bij hetzelfde token-budget.
- 256 Tokens: Bereikt een gemiddelde nauwkeurigheid van 73,29%, concurrerend met full-resolution baselines.
Taakgevoeligheid: Het model is robuust tegen zware compressie voor holistische taken (bijv. MMMU, LongVideoBench), waarbij de prestaties met minder dan 10% dalen, zelfs bij 1 token. Echter, de prestaties op dichte, lees-intensieve taken (OCR, DocVQA) nemen scherp af onder de 128 tokens, wat wijst op een behoefte aan hogere capaciteit voor fijnmazige tekstresolutie.
Vergelijking met Pruning: RADIO1D presteert beter dan inference-time token pruning methoden (Token Merging, CDPruner) bij equivalente token-budgetten, vooral bij het behoud van ruimtelijke gronding voor lees-taken.
Composition Retrieval: RADIO1D behaalt de hoogste composition-gebaseerde retrieval scores (Comp@1) op MS-COCO (0,5158) en nuImages (0,4294), waarmee het DINOv3, SigLIP2 en C-RADIOv4 overtreft.

5. Betekenis en Claims

Het paper claimt dat elastische, op samenvatting gerichte representaties de primaire uitlijning zijn waar VLM's naar verlangen, in plaats van gedetailleerde 2D lokale representaties. Door de vaste 2D-grid te verlaten ten gun toe van een variabele-lengte 1D-sequentie, biedt RADIO1D:

Een flexibele nauwkeurigheid-latentie trade-off, waardoor implementatie op hardware met variërende beperkingen mogelijk is door simpelweg het aantal tokens aan te passen.
Vermindert de computationele overhead terwijl de prestaties op multimodale taken gelijk blijven of verbeteren.
Biedt een nieuw paradigma voor VLM-backbones dat de kloof overbrugt tussen dichte visuele specialisten en tekst-uitgelijnde encoders.

De auteurs benadrukken dat hun werk de afhankelijkheid van vaste patch-features uitdaagt en suggereert dat toekomstige VLM's kunnen profiteren van representaties die prioriteit geven aan hiërarchische samenvatting en informatiecompressie boven rigide ruimtelijke grids. De modellen worden uitgebracht onder een permissieve licentie.