Resumen Técnico: La Paradoja Percepción–Física: Sonda de Alineación Científica con TC-BENCH

1. Enunciado del Problema

Los Modelos Fundacionales de Visión (VFMs) han demostrado un rendimiento robusto en ceros disparos (zero-shot) en benchmarks visuales, lo que ha llevado a su adopción en dominios científicos. Sin embargo, los autores identifican una limitación crítica: la alta precisión predictiva en imágenes satelitales a menudo proviene de correlaciones visuales en lugar de una comprensión de invariantes estructurales subyacentes. Esta discrepancia se denomina Paradoja Percepción–Física.

Específicamente, los modelos pueden parecer generalizar bien perceptualmente (por ejemplo, a través de diferentes regiones geográficas o agencias) mientras fallan en preservar los grados de libertad físicos necesarios para el razonamiento científico. En regímenes físicos extremos, como ciclones tropicales intensos, las señales visuales (como la estructura de las nubes) pueden saturarse, haciendo que estados físicamente distintos (por ejemplo, presiones de 905 hPa vs. 915 hPa) sean visualmente indistinguibles. Los VFMs pueden mapear estos estados distintos a representaciones latentes similares, colapsando la variación física requerida para una inferencia científica precisa. Los protocolos de evaluación actuales, que dependen del rendimiento en casos promedio o de pruebas fuera de distribución (OOD) basadas en percepción, no logran detectar este "colapso latente".

2. Metodología

2.1 Alineación Científica e Isomorfismo Estructural

Para abordar esta brecha, el artículo introduce la Alineación Científica como un objetivo implícito para el aprendizaje de representaciones. Los autores formalizan un aspecto comprobable de esta alineación llamado Isomorfismo Estructural.

• Definición: Una representación $z = g(x)$ es estructuralmente isomorfa a un sistema físico $S$ si existe un mapa lineal inyectivo $A$ tal que $z = Ay + \epsilon_\mu(y)$, donde $y$ representa las variables de estado físico y $\epsilon_\mu(y)$ es un residuo uniformemente acotado.
• Implicación: Esta definición no requiere un desentrelazado coordenado por coordenada, pero asegura que el espacio latente identifique el sistema físico hasta una reparametrización lineal. Implica que la geometría latente preserva la estructura de la variedad de estado físico.

2.2 El Marco de Sondas de Alineación Estructural

Basándose en las implicaciones del isomorfismo estructural, los autores derivan una jerarquía de condiciones necesarias, operacionalizadas como Sondas de Alineación Estructural. Estas sondas prueban si una representación aprendida soporta propiedades físicas específicas:

1. Fidelidad Estática ($Q_{stat}$): ¿Puede recuperarse linealmente el estado físico $y$ a partir de la representación latente $z$? (es decir, $\|y - Lz\| \le \epsilon_{stat}$).
2. Coherencia Dinámica ($Q_{dyn}$): ¿Se alinean las derivadas latentes con las derivadas físicas? (es decir, $\|\dot{y} - L\dot{z}\| \le \epsilon_{dyn}$).
3. Consistencia de la Variedad ($Q_{con}$): ¿Satisfacen las variables recuperadas las restricciones físicas conocidas (por ejemplo, el acoplamiento presión-viento)?

El análisis teórico (Teorema 2.1) establece que si la fidelidad estática y la coherencia dinámica se cumplen con límites uniformes, la representación soporta consistencia intervencional, permitiendo proyecciones físicamente plausibles bajo perturbaciones.

2.3 Conjunto de Datos TC-BENCH

Para operacionalizar estas sondas, los autores introducen TC-BENCH, un conjunto de datos de referencia global, versionado y reproducible para la investigación de ciclones tropicales.

• Fuentes de Datos: Integra el Archivo Internacional de Mejores Rastros para la Gestión Climática (IBTrACS v4r01) para metadatos (presión central mínima $P_c$, viento sostenido máximo $V_m$) y GridSat-B1 para imágenes de temperatura de brillo infrarroja geoestacionaria.
• Alcance: Cubre el período 1980–2024 a través de siete agencias meteorológicas y todas las cuencas principales.
• Diseño: A diferencia de benchmarks anteriores centrados en el rendimiento en casos promedio, TC-BENCH incluye explícitamente regímenes intensos ($P_c < 980$ hPa) y transiciones del ciclo de vida para habilitar "pruebas de estrés físicamente dirigidas".

2.4 Protocolo Experimental

Los autores evalúan una diversa suite de VFMs congelados (incluyendo DINOv2/3, CLIP, SigLIP y MAE) utilizando una sonda lineal restringida ($L \in \mathcal{H}_{lin}$). La evaluación está estratificada por regímenes de intensidad:

• Régimen Moderado: $P_c \ge 980$ hPa.
• Régimen Intenso: $P_c < 980$ hPa.
  El protocolo controla factores de confusión como el desequilibrio de muestras, la capacidad de la sonda (mediante sondas no lineales) y la agregación de representaciones (mediante promedios de tokens espaciales).

3. Resultados Clave

3.1 La Paradoja Percepción–Física en Acción

Los experimentos revelan una falla sistemática de los VFMs actuales en regímenes intensos:

• Degradación de la Fidelidad Estática: Mientras que los modelos funcionan bien en regímenes moderados, el error en la recuperación lineal de la presión ($P_c$) aumenta bruscamente en el régimen intenso. Esta hipótesis de "Saturación Visual" sugiere que las características se saturan, haciendo que las diferencias de intensidad de grano fino sean indistinguibles en el espacio latente.
• Colapso de la Coherencia Dinámica: La alineación entre la evolución temporal latente y la física se degrada significativamente en regímenes intensos, con picos de error en regímenes catastróficos ($P_c < 920$ hPa).
• Inconsistencia de la Variedad: Las variables de presión y viento recuperadas no respetan los acoplamientos físicos (por ejemplo, la restricción de equilibrio del viento gradiente en relación con la latitud) en regímenes intensos, con violaciones de restricciones que aumentan de ~20% en regímenes moderados a ~55% en regímenes intensos.

3.2 Análisis de la Geometría Latente

Los diagnósticos geométricos en las representaciones de DINOv3 (el mejor desempeño) confirman el mecanismo de falla:

• Colapso de Dimensionalidad: En regímenes intensos, la dimensionalidad efectiva de la covarianza de características cae aproximadamente un 60%.
• Compresión de Características: Las tormentas físicamente distintas se mapean a una región más estrecha del espacio latente, reduciendo la dispersión de características.
• Pérdida de Resolución: El primer componente principal (PC1), que se correlaciona con la presión en regímenes moderados, pierde su variación sistemática con la presión en regímenes intensos.

3.3 Robustez de los Hallazgos

La falla no es un artefacto de la sonda lineal o del preentrenamiento en imágenes estáticas:

• Sondas No Lineales: Aumentar la capacidad de la sonda (MLP, Transformer) no resuelve la brecha de rendimiento.
• Líneas Base Supervisadas: Un modelo supervisado entrenado desde cero en datos de píxeles logra un error menor en regímenes intensos, demostrando que la señal está estadísticamente presente en las imágenes pero no es capturada por las representaciones congeladas de VFM.
• Modelos de Video: El preentrenamiento temporal (VideoMAE, V-JEPA2) mejora el rendimiento promedio pero falla en eliminar la degradación dependiente del régimen.

4. Contribuciones

1. Alineación Científica como Lente Diagnóstico: El artículo articula la Paradoja Percepción–Física y formaliza el Isomorfismo Estructural como un conjunto de condiciones necesarias falsificables para la utilidad científica. Cambia el enfoque de la evaluación de la robustez perceptual a la preservación estructural de invariantes físicos.
2. TC-BENCH: Un conjunto de datos de referencia global y reproducible con un pipeline de construcción automatizado, diseñado específicamente para poner a prueba las representaciones en regímenes físicos extremos donde las señales visuales se saturan.
3. Marco Unificado de Sondaje: Un protocolo sistemático (Fidelidad Estática, Coherencia Dinámica, Consistencia de la Variedad) que expone un modo de falla —el colapso latente dependiente del régimen— pasado por alto por las evaluaciones convencionales de casos promedio o OOD.

5. Significado y Afirmaciones

Los autores posicionan este trabajo como diagnóstico en lugar de prescriptivo. No afirman que los VFMs sean inherentemente incapaces de aprender representaciones alineadas físicamente, ni que el entrenamiento específico de tareas no pueda recuperar información física. En cambio, el artículo demuestra que:

• Las evaluaciones actuales son insuficientes: Las métricas estándar y las pruebas OOD impulsadas por la percepción no pueden certificar la alineación con respecto a consultas científicas específicas, particularmente en regímenes extremos.
• La escalabilidad no es una bala de plata: La alineación científica no surge como un subproducto natural de la escalabilidad por sí sola; los modelos pueden parecer correctos sin razonar correctamente.
• Condiciones necesarias para la ciencia: El marco propuesto proporciona un conjunto mínimo de condiciones comprobables para determinar si una representación puede servir como un sustituto estructural válido para sistemas físicos.

Los autores señalan que la Paradoja Percepción–Física es probablemente generalizable a otros entornos de teledetección de alto impacto (por ejemplo, monitoreo de incendios forestales) donde las observaciones se vuelven localmente insensibles a variaciones físicamente significativas en regímenes extremos. El trabajo enfatiza la necesidad de sondas conscientes de la consulta y fundamentadas físicamente para asegurar que las representaciones aprendidas apoyen un razonamiento científico coherente.