Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement

Dit onderzoek toont aan dat bevestigde visuele features van foundation modellen verborgen, nauwkeurige meetgegevens over continue geometrie bevatten die door de tekstpaden worden beperkt, en dat lichte proeven of LoRA-finetuning deze potentie kunnen vrijmaken zonder volledige hertraining.

De kern

Stel je voor dat je een zeer slimme robot hebt die duizenden boeken heeft gelezen en miljarden foto's heeft gezien. Je vraagt hem: "Hoe gebogen is die hand op de foto?" of "Hoe staat die kop precies?"

Als je deze robot vraagt om het in woorden te beschrijven, geeft hij een vaag, onnauwkeurig antwoord. Hij zegt misschien: "Het is een beetje gebogen," maar de cijfers kloppen niet. Het is alsof hij de informatie wel kent, maar vergeten is hoe hij het moet zeggen.

Dit is precies wat dit onderzoek ontdekt. De auteurs hebben bewezen dat deze "Foundation Models" (de slimme robots) de meetkunde van de wereld wel degelijk kennen, maar dat hun "spraakcentrum" (de tekst die ze genereren) te dom is om die kennis goed over te brengen.

Hier is de uitleg, vertaald naar alledaags taalgebruik met een paar leuke vergelijkingen:

1. De "Stomme" Vertaler vs. De "Slimme" Sensor

Stel je de robot voor als een fotograaf die ook een vertaler is.

• De fotograaf (de visuele kant): Deze ziet de foto en weet precies hoe elke vinger gebogen is. Hij heeft een meetlint in zijn hoofd en kan de hoek tot op de graad nauwkeurig aflezen.
• De vertaler (de tekst-kant): Deze moet de bevindingen van de fotograaf in een verhaal verpakken. Maar de vertaler is een beetje verward. Hij probeert de precieze hoek in woorden te gieten, en dat lukt niet goed. Hij "verliest" de precisie onderweg.

Het onderzoek toont aan dat de fotograaf (de beelden die de robot ziet) de meetkunde perfect kent. Als je de fotograaf direct laat meten (zonder de vertaler), is hij supernauwkeurig. Maar zodra hij het aan de vertaler moet doorgeven, wordt het antwoord onnauwkeurig.

2. Het Probleem is niet het Brein, maar de Mond

De onderzoekers dachten eerst: "Misschien begrijpen deze robots gewoon niet wat een hoek is."
Maar ze ontdekten iets spannends: Ze begrijpen het wel!

• De test: Ze namen de "frozen features" (de interne gedachten van de robot die niet zijn aangepast) en stopten ze in een heel simpel meetapparaatje (een "lineaire probe").
• Het resultaat: Dit simpele apparaatje kon de hoek van de vingers meten met een foutmarge van slechts 6 graden.
• De tekst: Als je de robot vraagt om het in een zin te typen, is de foutmarge 20 graden.

Dat is een groot verschil! Het is alsof je een meester-metallurg hebt die goud kan herkennen, maar als je hem vraagt om het te beschrijven, zegt hij: "Het is een beetje geel en glanzend." Hij weet wat het is, maar kan het niet goed verwoorden.

3. De Oplossing: Een Korte "Oefening" (LoRA)

Hoe los je dit op? Je hoeft de hele robot niet opnieuw te leren. Je hoeft alleen de "vertaler" een beetje te trainen om naar de "fotograaf" te luisteren.

De onderzoekers gebruikten een techniek genaamd LoRA. Denk hierbij aan het geven van een korte, scherpe instructie aan de vertaler.

• Ze gaven de robot slechts 2.000 voorbeelden (heel weinig voor een AI).
• Na deze korte training kon de robot de meetkunde weer perfect in tekst gieten. De foutmarge zakte van 20 graden terug naar 6 graden.

De les: De kennis was er al. Alleen de weg ernaartoe (de route van het beeld naar de tekst) was geblokkeerd.

4. Het is niet belangrijk wie de robot is, maar hoe hij leert

De onderzoekers testten 14 verschillende soorten robots (sommige gebouwd door Google, andere door Meta, enzovoort). Ze dachten: "Misschien is de ene robot slimmer dan de andere."
Maar ze ontdekten iets verrassends: Het maakt niet uit welk type robot het is.

• Of het nu een robot is die leert door te kijken naar plaatjes zonder tekst (zelfsupervised), of een robot die leert door plaatjes te koppelen aan woorden (contrastive).
• Als ze allemaal op dezelfde manier zijn getraind, komen ze uit op precies hetzelfde niveau van precisie.

Het is alsof je vijf verschillende soorten auto's neemt (een Ferrari, een Volvo, een Tesla). Als je ze allemaal op dezelfde weg zet met dezelfde brandstof, rijden ze allemaal even snel. Het is de training (de brandstof en de weg) die telt, niet het chassis (de auto).

5. Waarom is dit belangrijk voor ons?

Dit onderzoek is een goudmijn voor twee redenen:

1. Wetenschappelijk: Het bewijst dat deze AI-modellen de fysieke wereld (hoeken, afstanden, posities) echt begrijpen. Ze zijn niet alleen "woordkloppers". Ze hebben een ruimtelijk inzicht.
2. Praktisch: Je hoeft geen dure, nieuwe AI te bouwen om afstanden of hoeken te meten. Je kunt een bestaande, gratis AI gebruiken en er een heel klein, goedkoop meetapparaatje (de "probe") aan koppelen.
   • Vergelijking: In plaats van een nieuwe, dure camera te kopen om afstanden te meten, kun je een bestaande camera gebruiken en er een goedkope lens op schroeven die de metingen doet.

Samenvatting in één zin

Deze slimme AI-modellen hebben een fotograaf in hun hoofd die de wereld perfect kan meten, maar hun vertaler is vergeten hoe hij die metingen in woorden moet gieten; met een klein beetje training kunnen we die vertaler weer aan het werk zetten zonder de hele robot te vervangen.

Technische samenvatting

Probleemstelling

Vision-Language Models (VLMs) worden steeds vaker ingezet voor kwantitatieve visuele taken, maar er bestaat geen systematisch inzicht in hoe goed hun interne representaties continue fysieke metingen (zoals hoeken of afstanden) coderen. In de praktijk geven gebruikers prompts aan VLMs voor kwantitatieve schattingen en ontvangen ze vaak onnauwkeurige antwoorden met foutmarges van 20° tot 39°.

De centrale vraag is of deze onnauwkeurigheid voortkomt uit een fundamenteel tekort aan de visuele representatie zelf (de "sensor" is slecht) of uit een beperking in de tekstuele outputlaag (de "interface" is slecht). Bestaande studies tonen aan dat VLMs diepte- en correspondentie-informatie missen in hun tekstgeneratie, maar bieden geen constructieve oplossing voor continue metingen.

Methodologie

De auteurs onderzoeken dit probleem door de bevroren (frozen) features van veertien verschillende foundation modellen te "proben" voor continue geometrische grootheden.

1. Datasets: Er worden vier datasets gebruikt die variëren van gearticuleerde poses tot rigide objecten:
   • FreiHAND: Handposities (21 3D sleutelpunten, 32 onderwerpen).
   • BIWI: Hoofdposities (yaw, pitch, roll).
   • YCB-Video: 6DoF pose van rigide objecten.
   • MPIIFaceGaze: Kijkrichting.
2. Modellen: Een breed scala aan modellen wordt getest, waaronder:
   • Zelftoezicht (Self-supervised): DINOv2, DINOv3.
   • Contrastief (Contrastive VL): CLIP, SigLIP.
   • Hybride en Generatieve VLMs: Qwen2.5-VL, Gemma 3, InternViT.
   • CNN-baselines: ConvNeXt.
3. Probing Techniek:
   • In plaats van het hele model te finetunen, worden lineaire probes (specifiek Reduced-Rank Ridge Regression, RRR) toegepast op de bevroren features van de modellen.
   • De probe voorspelt continue waarden (bijv. gewrichtshoeken in graden) direct vanuit de visuele features.
   • Vergelijking: De resultaten van deze "frozen probe" worden vergeleken met de output van de tekstgeneratie (via prompting of LoRA-finetuning).
4. Statistiek: Er wordt gebruikgemaakt van TOST-equivalentietests (om te bepalen of modellen statistisch gelijk zijn), Friedman-rangtests en geneste 10-voudige kruisvalidatie.

Belangrijkste Bijdragen en Bevindingen

1. De "Tekst-Bottleneck" is een Trainingsdeficit, geen Representatief Deficit

De meest opvallende bevinding is dat de visuele features van de modellen de geometrie wel bevatten, maar de tekstlaag deze niet kan lezen.

• Resultaat: Een lineaire probe op bevroren features bereikt een Mean Absolute Error (MAE) van 6,1° voor handgewrichten.
• Vergelijking: De beste tekstoutput (via prompting) bereikt slechts 20,0° MAE. Dit is een kloof van 3,3x.
• Oplossing: Door LoRA (Low-Rank Adaptation) te gebruiken om de tekstlaag lichtjes aan te passen (op slechts 2.000 afbeeldingen), daalt de foutmarge naar 6,5°. Dit bewijst dat de geometrie aanwezig is in de features, maar dat de "route" naar de tekstlaag niet optimaal is getraind.

2. Trainingsdoel is belangrijker dan Architectuur

De nauwkeurigheid van de geometrische meting wordt bepaald door het trainingsdoel (pre-training strategie) en niet primair door de modelarchitectuur (bijv. ViT vs. CNN).

• Functionele Convergentie: Vijf verschillende encoders (DINOv3, SigLIP 2, CLIP, SigLIP, InternViT) convergeren naar een statistisch equivalente nauwkeurigheid (R² ≈ 0,55) op de hand-dataset.
• Representatieve Dissimilariteit: Ondanks deze gelijke prestaties zijn de interne representaties van deze modellen zeer verschillend (gemeten met CKA, Canonical Correlation Analysis, zo laag als 0,41).
• Conclusie: Dit ondersteunt een "zwakke" versie van de Platonic Representation Hypothesis: verschillende modellen vinden verschillende representaties die functioneel equivalent zijn voor geometrische taken.

3. Ruimtelijke Taak-Afhankelijkheid

De manier waarop geometrie is gecodeerd, hangt af van de taak en de compositie van de afbeelding:

• Losse framing (BIWI - Hoofd): Geometrische informatie is geconcentreerd in specifieke patches (het gezicht). Het verwijderen van de hoogste "norm"-patches verlaagt de nauwkeurigheid aanzienlijk. Attention-pooling helpt hier sterk.
• Strakke framing (YCB-Video - Objecten): Geometrie is verspreid over alle patches. Het verwijderen van patches heeft nauwelijks effect.
• Generatieve VLMs: Autoregressive decoders (zoals in Qwen of Gemma) behouden grove pose-informatie maar verliezen fijne gewrichtshoeken tijdens de tekstverwerking, tenzij ze specifiek worden getraind (LoRA).

Resultaten in Detail

• Handpose (FreiHAND): De beste frozen probe (SigLIP 2) haalt 6,14° MAE. Dedicated hand-pose modellen zoals MediaPipe (geëvalueerd zero-shot) halen 16,3° MAE. Chain-of-Thought prompting verslechtert de prestaties zelfs (139,3° MAE) door hallucinaties.
• Hoofdpose (BIWI): DINOv3 leidt met een R² van 0,607. Pitch is het makkelijkst te voorspellen (R² 0,948), roll het moeilijkst.
• Objectpose (YCB-Video): Alle modellen bereiken een hoge nauwkeurigheid (R² ≈ 0,70) voor rotatie, waarbij de verschillen tussen modellen verdwijnen.
• Camera Intrinsica: De modellen coderen ook camera-intrinsica (brandpuntsafstand) met hoge nauwkeurigheid (R² 0,81–0,94).

Significantie en Toekomstperspectief

De paper heeft zowel wetenschappelijke als praktische implicaties:

1. Wetenschappelijk: Het weerlegt het idee dat foundation models "geen gevoel voor geometrie" hebben. Het probleem is de interface (tekst), niet de sensor (visie). Het toont aan dat functionele convergentie mogelijk is zonder representatieve convergentie.
2. Praktisch (Modulaire Geometrische Sensing): Het stelt een nieuwe, goedkope implementatiestrategie voor. Een enkele bevroren backbone (bijv. 300M parameters) kan dienen als multi-task geometrische sensor.
   • Elke nieuwe taak (hand, hoofd, object) vereist slechts een kleine lineaire probe (~6.000 parameters) en een klein datasetje (~6.400 gelabelde afbeeldingen).
   • Dit is een parameterverhouding van 50.000:1 ten opzichte van het trainen van een volledig nieuw model.
   • Voor menselijke leesbaarheid kan LoRA worden gebruikt om de geometrie via de tekstlaag te exporteren zonder de achterliggende architectuur te veranderen.

Conclusie: Foundation models "weten" de geometrie, maar "zeggen" het niet. Door de juiste "leesinterface" (probes of LoRA) toe te voegen, kunnen ze worden omgezet in krachtige, veelzijdige en goedkope geometrische sensoren voor diverse visuele taken.