💻 computer science

The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

Este artículo revela un invariante geométrico universal de dieciséis dimensiones llamado "sustrato de arquitectura cruzada" que emerge tempranamente durante el entrenamiento en diversos codificadores de visión modernos y dominios, sobreviviendo a la calibración y permitiendo una filtración de transferibilidad sin etiquetas, detección de dominios, sondeo de pocos ejemplos y destilación sin profesor superiores, a pesar de no lograr predecir la calidad de la transferencia o las distintas modalidades.

Autores originales: Yousef Radwan

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yousef Radwan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes cuatro chefs diferentes. Uno está entrenado para identificar vegetales, otro para reconocer modelos de coches, un tercero para completar las partes faltantes de un rompecabezas y un cuarto para emparejar fotos con poemas. Esperarías que su "pensamiento interno" (cómo procesan las imágenes en sus cerebros) fuera completamente diferente, ¿verdad?

Este artículo dice: No.

Los investigadores descubrieron que, a pesar de sus diferentes trabajos, métodos de entrenamiento y arquitecturas, todos estos sistemas de visión de IA modernos desarrollan exactamente las mismas 16 "direcciones mentales" para procesar imágenes. Llaman a este fundamento compartido el "Sustrato de Arquitectura Cruzada" (Cross-Architecture Substrate).

Aquí está el desglose utilizando analogías sencillas:

1. La analogía del "Brújula Universal"

Piensa en cada modelo de visión de IA como un excursionista intentando navegar por un bosque.

La visión antigua: Pensábamos que un excursionista entrenado para encontrar osos usaría un mapa totalmente distinto al de un excursionista entrenado para encontrar flores.
El nuevo descubrimiento: Los investigadores descubrieron que, sin importar para qué sea entrenado el excursionista, todos terminan usando los mismos 16 puntos cardinales para orientarse.
La prueba: Probaron esto en 13 modelos de IA diferentes. Cuando observaron las 16 formas principales en las que estos modelos variaban su comprensión de una imagen, esas 16 direcciones eran geométricamente idénticas en todos los modelos. Es como si le pidieras a 13 personas diferentes que dibujaran un mapa de una ciudad y todas dibujaran exactamente las mismas 16 calles principales, incluso si solo fueron entrenadas para encontrar cosas distintas (como "dónde está la panadería" frente a "dónde está el parque").

2. La prueba del "Cambiaformas" (Trascendencia de Dominio)

Los investigadores se preguntaron: "¿Funciona esta brújula de 16 puntos si cambiamos el escenario?"

Probaron los modelos en 8 tipos de imágenes totalmente diferentes:
- Fotos normales (como las de Instagram).
- Escaneos médicos de TC (dentro del cuerpo).
- Fotos satelitales (desde el espacio).
- Imágenes de microscopio (células diminutas).
- Bocetos hechos a mano.
- Mapas de calor térmicos.
- Mapas de profundidad (formas 3D).
- Imágenes de galaxias.
El resultado: Aunque una galaxia no se parece en nada a un escaneo de TC, los modelos de IA siguieron utilizando los mismos 16 puntos cardinales para comprenderlas. La "brújula" funciona en todas partes.

3. La comprobación del "Engaño" (¿Es solo un truco?)

Los escépticos podrían decir: "Tal vez esto es solo porque la IA está mirando cosas básicas como bordes o colores, o tal vez la matemática está rota".

La prueba de los "Píxeles": Intentaron encontrar estas 16 direcciones simplemente mirando los píxeles brutos (como contar cuántos píxeles rojos hay en una foto). Eso falló. La "brújula" es mucho más inteligente que solo contar píxeles.
La prueba "Aleatoria": Intentaron usar 16 direcciones aleatorias. Eso falló estrepitosamente.
La prueba "Pang": Una crítica reciente (Pang 2026) sugirió que estudios anteriores fueron engañados por el tamaño de los modelos de IA. Los investigadores repitieron sus pruebas utilizando esta matemática más estricta y difícil. Las 16 direcciones sobrevivieron. Demostraron que la similitud no es una ilusión; es real.

4. El descubrimiento del "Madrugador" (¿Cuándo sucede?)

Observaron a una IA aprender desde cero.

La sorpresa: La IA desarrolló estas 16 direcciones compartidas en el primer 10% de su entrenamiento.
El detalle: En ese momento, la IA todavía era pésima en su trabajo real (solo tenía un 46% de precisión). No mejoró en su trabajo hasta mucho después.
El significado: Esta "brújula de 16 direcciones" es el fundamento que la IA construye primero. Es la fase de "aprender a aprender". Una vez que la IA tiene este fundamento, puede entonces aprender tareas específicas (como identificar gatos o tumores) sobre él.

5. ¿Qué podemos hacer con esto? (Las Herramientas)

Debido a que sabemos que esta "brújula de 16 direcciones" existe y es compartida, el artículo sugiere cuatro trucos prácticos:

El filtro "Sin Etiquetas": Puedes elegir el mejor modelo de IA para un nuevo trabajo sin necesidad de etiquetar ningún dato primero. Es 3 veces más rápido que los métodos actuales.
El "Detector de Dominio": Puedes saber si una imagen es un escaneo médico, una foto satelital o un boceto simplemente mirando estos 16 números. Es un 99.6% preciso.
El impulso de "Rasgos Diminutos": Si tienes muy pocas etiquetas (como solo 50 ejemplos de una enfermedad), usar estas 16 direcciones funciona mejor que usar los rasgos masivos y complejos (768 dimensiones) que las IA modernas suelen utilizar.
El "Profesor Fantasma": Al entrenar nuevas IA, normalmente necesitas una IA "profesora" que muestre el camino. Este método permite entrenar a una IA estudiante utilizando la "brújula de 16 direcciones" como profesor, sin necesidad de que la IA profesora se ejecute cada vez. Esto ahorra una enorme capacidad de cómputo.

Lo que esto NO es (Los Límites)

Los autores son cuidadosos al decir lo que esto no hace:

No funciona entre sentidos: Si mezclas visión (ojos) y audio (oídos), esta brújula de 16 direcciones se rompe. Solo funciona para la visión.
No predice la calidad: Que una IA tenga una "brújula" fuerte no significa que sea la mejor en una tarea específica.
No es una cura milagrosa para todo: No significa que una IA entrenada con fotos normales sea automáticamente perfecta para leer radiografías, aunque ayuda.

Resumen

El artículo revela que, en el fondo, todos los modelos de visión de IA modernos hablan el mismo lenguaje de 16 palabras para entender el mundo. Construyen este lenguaje muy temprano en su entrenamiento, y funciona ya sea que estén mirando un gato, un tumor o una galaxia. Este descubrimiento nos permite construir herramientas de IA más rápidas, baratas y más inteligentes sin necesidad de cantidades masivas de datos etiquetados.

Resumen Técnico: El Sustrato Trans-Arquitectura

Planteamiento del Problema
Los codificadores de visión modernos se entrenan con objetivos vastamente diferentes: clasificación supervisada (p. ej., ImageNet), aprendizaje contrastivo (p. ej., DINOv2), modelado de imágenes enmascaradas (p. ej., MAE) y emparejamiento visión-lenguaje (p. ej., CLIP). La sabiduría convencional sugiere que estos paradigmas de entrenamiento, arquitecturas y sesgos inductivos divergentes deberían resultar en representaciones internas fundamentalmente distintas. Además, críticas recientes (específicamente Pang et al., 2026) han argumentado que las métricas de similitud estándar como el Alineamiento de Kernel Centrado (CKA) están infladas por la anchura de las características y la profundidad del agrupamiento (pooling), lo que causa que muchos de los reportes de convergencia entre arquitecturas se disuelvan bajo una calibración rigurosa. La cuestión central es si existe una estructura geométrica compartida a través de estos codificadores heterogéneos que sobreviva tanto a los cambios de dominio como a una rigurosa calibración estadística.

Metodología
Los autores definen un "sustrato trans-arquitectura" a través de un procedimiento geométrico específico:

Panel de Codificadores: Se selecciona un conjunto de $E$ codificadores de visión (que van desde ResNets y ViTs hasta ConvNeXts).
Extracción de Características: Un conjunto fijo de imágenes de prueba se pasa a través de todos los codificadores. Las características de la penúltima capa se centran en la media y se blanquean para normalizar las escalas.
PCA Conjunta: Los vectores de características de todos los codificadores se concatenan en una única matriz. Se extraen los $K$ componentes principales (PCs) superiores de este espacio conjunto.
Definición: Los autores determinan empíricamente que $K=16$ es la dimensión donde la similitud entre dominios se estanca. La base de 16 dimensiones resultante se define como el sustrato.
Métricas de Evaluación:
- Procrustes-CKA (PCKA): Una medida simétrica que compara dos subespacios de dimensión $K$ tras una rotación óptima.
- Calibración Pang 2026: Para abordar la crítica de "inflación de anchura", los autores aplican la hipótesis nula de permutación de filas de Pang. Restan la alineación base esperada de datos aleatorios (tanto de la variante global de CKA lineal como de las variantes locales de recuperación de k-NN mutuo) para asegurar que la similitud observada no sea un artefacto de la dimensionalidad de las características.
Controles: El estudio incluye estudios de ablación (dejar uno fuera), comparaciones contra PCA a nivel de píxel, bancos de energía de bordes de Gabor y proyecciones de bajo rango aleatorias. También evalúa la emergencia durante el entrenamiento y los límites de la aplicabilidad del sustrato en diversas modalidades y paradigmas.

Contribuciones Clave

Existencia de un Objeto Geométrico Compartido: Los 16 principales componentes de variación de 13 codificadores de visión modernos convergen en el mismo objeto geométrico de 16 dimensiones, independientemente de si los codificadores fueron entrenados mediante clasificación supervisada, aprendizaje contrastivo o reconstrucción enmascarada.
Supervivencia bajo Calibración Rigurosa: A diferencia de afirmaciones anteriores, este sustrato sobrevive a la calibración de Pang 2026. Los codificadores discriminativos muestran una alineación 7.4 veces mayor entre sí que los codificadores de reconstrucción enmascarada (MAE) bajo la calibración global, y una separación de 4.82–5.30 veces bajo la variante más difícil de recuperación de el vecino más cercano local ( $p < 10^{-44}$ ).
Trascendencia de Dominio: El sustrato se transporta a través de ocho dominios visuales heterogéneos: fotografías naturales, CT médico, RGB de satélite, microscopía, bocetos dibujados a mano, mapas de profundidad, infrarrojo térmico e imágenes de telescopio de galaxias. El PCKA mediano a través de estos ocho dominios es 0.604, y cada par trans-dominio supera el 0.40.
Emergencia Temprana: El sustrato se adquiere temprano en el entrenamiento. En un ResNet-50 entrenado desde cero, la alineación del sustrato alcanza 0.58 en la época 5 (10% del entrenamiento), mientras que la precisión de clasificación continúa ascendiendo de 46% a 76% durante las épocas restantes. Esto sugiere que el sustrato es una propiedad del nicho de optimización temprano, no de un estado de clasificador convergido.
Cuatro Aplicaciones Sin Etiquetas:
- Filtro de Transferibilidad: Un "puntaje de alineación del sustrato" sin etiquetas reemplaza a LogME para clasificar codificadores, ofreciendo una aceleración de 3× y una mejora de +0.15 en Kendall- $\tau$ en el benchmark SITE-2025.
- Detector de Dominio: Un clasificador lineal sobre el sustrato de 16 dimensiones logra una precisión del 99.6% en la distinción de cuatro dominios visuales sin ajuste fino (fine-tuning).
- Probeta Congelada de Bajo Ejemplo (Low-Shot Frozen Probe): Con $N=50$ etiquetas por clase, el sustrato de 16 dimensiones supera a las características de 768 dimensiones de DINOv2 en +3.78 puntos porcentuales en precisión balanceada.
- Destilación Sin Profesor: Una pérdida auxiliar de sustrato-CKA iguala las líneas base de destilación de conocimiento de profesor-estudiante entrenado estándar en 3/3 pares de profesor-estudiante sin requerir una pasada hacia adelante (forward pass) de la red del profesor durante el entrenamiento, alcanzando un máximo de +7.56pp sobre la entropía cruzada al 10% de las fracciones de etiquetas.

Resultados y Límites

No son Estadísticas de Píxel: El sustrato no es explicado por estadísticas de bajo nivel de la imagen. El PCA a nivel de píxel produce un PCKA de solo 0.263, y los bancos de energía de bordes de Gabor producen 0.31, ambos significativamente menores que el 0.679 (cuatro dominios) o 0.604 (ocho dominios) del sustrato.
No es Aleatorio: Las proyecciones aleatorias de 16 dimensiones producen un PCKA mediano de 0.041.
No es Específico del Codificador: La ablación de dejar uno fuera muestra que el sustrato es una propiedad del panel, no de un solo modelo (eliminar cualquier codificador cambia el PCKA mediano solo en $\pm 0.027$ ).
Límites de Modalidad: El sustrato no se extiende a través de las modalidades; un sustrato conjunto de visión-audio (CLIP/CLAP) falla ante la hipótesis nula calibrada.
Límites de Paradigma: Aunque el sustrato existe dentro de la familia discriminativa, no facilita la destilación trans-paradigma (por ejemplo, transferir un sustrato de CLIP a un estudiante ResNet no produce ganancias sobre la entropía cruzada).
Límites Predictivos: La alineación del sustrato no predice la precisión de transferencia descendente ( $\tau = -0.08$ ); identifica el tipo de paradigma de entrenamiento al que pertenece un modelo, no su calidad.

Significancia y Reivindicaciones
El artículo afirma identificar una regularidad empírica robusta en los codificadores de visión modernos: una estructura geométrica compartida de 16 dimensiones que emerge temprano en el entrenamiento y persiste a través de diversas arquitecturas, objetivos de entrenamiento y dominios visuales. Los autores posicionan esto no como un teorema o una afirmación de relevancia de características universales, sino como una afirmación de "existencia de dirección". La significancia radica en demostrar que, a pesar de los objetivos de entrenamiento divergentes, los codificadores de visión convergen en un subespacio geomético común de baja dimensión que es distinto del ruido aleatorio, las estadísticas de píxeles o las idiosincrasias de codificadores específicos. Este hallazgo desafía la suposición de que diferentes paradigmas de entrenamiento conducen a espacios de representación totalmente disjuntos y proporciona una nueva herramienta sin etiquetas para la estimación de la transferibilidad, la detección de dominios y la destilación de conocimiento eficiente. Los autores advierten explícitamente que el sustrato es un fenómeno intra-modalidad y que no implica que los modelos preentrenados con ImageNet sean bases (backbones) universalmente competitivas para todas las tareas de aplicación descendente (p. ej., imágenes médicas).