Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement

El estudio demuestra que los modelos fundacionales de visión y lenguaje poseen una rica representación geométrica continua en sus características congeladas que supera significativamente su capacidad de expresión textual, revelando que la limitación reside en el entrenamiento de la vía generativa y no en la representación subyacente, lo que permite extraer mediciones físicas precisas mediante sondas lineales ligeras sin necesidad de ajuste fino.

Lo esencial

¡Hola! Imagina que tienes un genio de la lámpara (un modelo de inteligencia artificial muy avanzado) que vive dentro de una caja de cristal. Este genio ha visto millones de fotos de manos, caras y objetos.

La pregunta que se hacen los científicos en este artículo es: ¿Realmente entiende este genio la geometría (las formas, los ángulos y las posiciones) de lo que ve, o solo sabe "hablar" sobre ello de forma torpe?

Aquí te explico los descubrimientos clave usando analogías sencillas:

1. El Problema: El "Traductor" es el culpable, no el "Ojo"

Imagina que el genio tiene dos partes:

• Sus Ojos (El Encoder): Ven la foto y capturan todos los detalles geométricos perfectamente.
• Su Boca (El Texto): Es la parte que intenta describir lo que ve con palabras.

El estudio descubrió algo sorprendente: Los ojos del genio ven la geometría con una precisión increíble, pero su boca es terrible describiéndola.

• Si le preguntas al genio: "¿Qué ángulo tiene este dedo?" y espera una respuesta en texto, se equivoca mucho (como si dijera "es un ángulo muy raro" en lugar de "son 45 grados").
• Pero, si le preguntas directamente a sus ojos (usando una herramienta matemática simple llamada "sonda lineal"), ¡puede decirte el ángulo exacto con una precisión casi perfecta!

La analogía: Es como tener a un arquitecto experto que puede dibujar un plano perfecto en su mente (los ojos), pero cuando intenta explicártelo con palabras (la boca), se traba y dice cosas confusas. El problema no es que no sepa geometría, es que su "boca" no sabe traducir esa geometría a palabras.

2. La Solución Mágica: El "Ajuste Fino" (LoRA)

Los investigadores probaron una técnica llamada LoRA. Imagina que le pones al genio unas gafas de lectura especiales o un pequeño "traductor" en su boca.

• Con solo mostrarle 2,000 fotos (muy pocas para una IA) y ajustar un poco su "boca", el genio aprende a traducir lo que sus ojos ven en palabras precisas.
• De repente, su respuesta en texto mejora drásticamente, casi igualando a la precisión de sus ojos.

La moraleja: La geometría ya estaba ahí, guardada en sus ojos. Solo necesitábamos enseñarle a la "boca" cómo leer esa información.

3. El Hallazgo Sorprendente: No importa el "Cerebro", importa el "Entrenamiento"

El equipo probó 14 cerebros de IA diferentes (algunos muy modernos, otros más antiguos, algunos hechos por Google, otros por Meta).

• La sorpresa: No importa si el cerebro es un "Transformer" (la arquitectura moderna) o una "Red Neuronal Clásica". Lo que realmente importa es cómo se entrenó.
• Los modelos que aprendieron solos mirando fotos (sin que nadie les dijera qué eran) aprendieron geometría mucho mejor que los que aprendieron solo leyendo libros o siguiendo instrucciones estrictas.
• La analogía: Es como si dos estudiantes diferentes (uno de matemáticas y otro de arte) estudiaran para un examen de geometría. Si ambos miran el mismo mapa del tesoro (entrenamiento auto-supervisado), ambos terminarán sabiendo la ruta, aunque sus cerebros funcionen de forma distinta.

4. El "Efecto Espejo": Todos llegan al mismo destino

Aunque estos modelos usan "lentes" muy diferentes para ver el mundo (sus representaciones internas son distintas), todos terminan conociendo la geometría de la misma manera.

• Es como si cinco personas diferentes subieran cinco montañas distintas, pero todas llegaran a la cima al mismo nivel de altura.
• Esto sugiere que la geometría es una "verdad universal" que la IA descubre inevitablemente si se le da el entrenamiento adecuado, sin importar cómo esté construida.

5. ¿Por qué nos importa esto? (El uso práctico)

Antes, si querías que una IA midiera el ángulo de una mano o la posición de un objeto, tenías que entrenar un modelo gigante y costoso desde cero para esa tarea específica.

• Ahora: Podemos usar un modelo de IA que ya tenemos instalado (como el que usa tu teléfono o una app) y simplemente "conectarle" un pequeño sensor (la sonda) para que empiece a medir cosas.
• Es como tener un coche que ya tiene un motor potente (el modelo congelado) y solo le añadimos un pequeño GPS (la sonda) para que sepa exactamente dónde está, sin tener que cambiar el motor.

En resumen

Este paper nos dice que las inteligencias artificiales modernas ya "saben" geometría y la tienen guardada en sus recuerdos visuales. El problema es que, al intentar hablar, se vuelven torpes. Pero con un poco de entrenamiento ligero, podemos hacer que hablen con la misma precisión con la que ven. ¡Es como despertar al genio de la lámpara para que deje de balbucear y empiece a dar instrucciones exactas!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement" (¿Conocen los Modelos Fundacionales la Geometría? Sonda de Características Congeladas para Medición Física Continua), traducido y adaptado al español.

---

Resumen Técnico

1. El Problema: La Brecha entre Representación y Expresión

Los modelos fundacionales de visión-idioma (VLM) se utilizan cada vez más para tareas visuales cuantitativas. Sin embargo, existe una desconexión crítica: aunque estos modelos parecen "conocer" la geometría en sus representaciones internas, sus salidas de texto son imprecisas para estimaciones numéricas continuas (errores de 20°–39°).

• Hipótesis central: ¿Es esta inexactitud una limitación fundamental de la representación visual (el modelo no "ve" la geometría) o es un cuello de botella en el pathway de generación de texto (el modelo "sabe" pero no puede "decirlo")?
• Estado del arte: Estudios previos sugieren que los VLM descartan información geométrica detallada al generar texto, pero no ofrecen soluciones constructivas para la medición continua.

2. Metodología

Los autores proponen un enfoque de sondeo (probing) sistemático sobre características congeladas (frozen features) de 14 modelos fundacionales diferentes.

• Configuración del Problema:

  • Se extraen activaciones ocultas de capas específicas de modelos congelados.
  • Se aplica un pooling espacial (media) para obtener vectores de características globales.
  • Se entrena un sondeo lineal (Linear Probe) utilizando Regresión de Rango Reducido (RRR) para mapear estas características a objetivos continuos (ángulos de articulaciones en grados).
  • Se evalúa sin modificar los pesos del modelo base (frozen), aislando así la capacidad de codificación de la capacidad de decodificación.

• Datos y Modelos:

  • Datasets: FreiHAND (manos), BIWI (postura de cabeza), YCB-Video (objetos rígidos), MPIIFaceGaze (dirección de la mirada).
  • Modelos: 14 arquitecturas que incluyen encoders auto-supervisados (DINOv2/3), contrastivos (CLIP, SigLIP), híbridos y VLMs generativos (Qwen, Gemma), además de una CNN de referencia (ConvNeXt).

• Validación:

  • Uso de validación cruzada anidada de 10 pliegues.
  • Pruebas de equivalencia estadística (TOST) para determinar si las diferencias de rendimiento son significativas.
  • Análisis de similitud de representaciones (CKA) para comparar la estructura interna de los modelos.

3. Contribuciones Clave

1. El Cuello de Botella es de Entrenamiento del Pathway, no de Representación:

   • Los sondeos lineales sobre características congeladas logran un MAE de 6.1° en ángulos de articulaciones de la mano.
   • La mejor salida de texto (generación) logra solo 20.0° (una brecha de 3.3x).
   • Evidencia: El ajuste fino ligero (LoRA, r=16) sobre el pathway de texto reduce el error a 6.5°, demostrando que la geometría está codificada en las características congeladas, pero el pathway de texto no está entrenado para acceder a ella.

2. El Objetivo de Entrenamiento Determina la Precisión, no la Arquitectura:

   • Cinco encoders con arquitecturas y representaciones internas muy diferentes (similitud CKA tan baja como 0.41) convergen en una precisión estadísticamente equivalente (R² ≈ 0.55) para la sonda de geometría.
   • Esto demuestra una convergencia funcional sin convergencia representacional, extendiendo la "hipótesis de la representación platónica" a objetivos geométricos continuos.
   • La arquitectura (ViT vs. CNN) es menos importante que el objetivo de pre-entrenamiento (auto-supervisado/contrastivo vs. supervisado).

3. La Geometría es Espacialmente Dependiente de la Tarea:

   • La concentración espacial de la información geométrica varía según el dataset.
   • En imágenes de rostros con encuadre amplio (BIWI), la información se concentra en parches específicos; eliminar los parches de mayor norma reduce drásticamente el rendimiento.
   • En objetos recortados (YCB-Video), la información está distribuida uniformemente, por lo que el pooling de atención no ofrece beneficios significativos.

4. Resultados Principales

• Rendimiento de Sonda vs. Texto:

  • Sonda Congelada (SigLIP 2): 6.14° MAE, R² = 0.559.
  • Texto (Few-shot Qwen-3B): 20.0° MAE.
  • Texto con LoRA: 6.51° MAE (recupera casi toda la precisión de la sonda).
  • Nota: Los modelos de razonamiento paso a paso (Chain-of-Thought) empeoran el rendimiento (139.3°) debido a alucinaciones de valores angulares.

• Convergencia de Modelos:

  • Un grupo de cinco modelos (SigLIP 2, DINOv3, CLIP, SigLIP, InternViT) forma un "cluster de equivalencia" con R² ≈ 0.55, a pesar de tener similitudes de representación (CKA) bajas.
  • Los modelos generativos (VLMs) muestran una degradación en la codificación de geometría articulada (manos) en sus capas de decodificador, aunque recuperan precisión en objetos rígidos.

• Análisis de Capas:

  • En los encoders de visión, la señal geométrica crece monótonamente hasta las capas profundas (L16-L20).
  • En los decodificadores LLM, la señal geométrica alcanza su pico en capas tempranas y decae, confirmando que el procesamiento autoregresivo descarta detalles geométricos finos.

• Generalización:

  • La técnica funciona para múltiples tareas: postura de manos, cabeza, objetos y parámetros intrínsecos de la cámara (longitud focal), con un costo de parámetros adicional de solo ~6,000 por tarea.

5. Significado e Impacto

• Implicaciones Científicas: El estudio refuta la noción de que los VLMs carecen de comprensión geométrica 3D. Demuestra que la geometría está presente en las representaciones latentes, pero el mecanismo de generación de texto actúa como un filtro que pierde información continua.
• Impacto Práctico:
  • Eficiencia: Permite utilizar un único backbone congelado (ya desplegado) como sensor geométrico multi-tarea, añadiendo solo sondas ligeras (~6k parámetros) en lugar de entrenar modelos específicos masivos.
  • Interfaz Humana: Mediante LoRA, se puede recuperar la información geométrica precisa a través de la salida de texto natural, facilitando la integración en aplicaciones que requieren interacción conversacional.
  • Diseño de Modelos: Sugiere que para tareas de medición continua, el objetivo de entrenamiento (pre-entrenamiento) es más crítico que la arquitectura específica del modelo.

Conclusión: Los modelos fundacionales "saben" geometría, pero sus interfaces de texto actuales no están optimizadas para leerla. La sonda de características congeladas es una herramienta poderosa y económica para desbloquear esta capacidad geométrica latente.