Resumo Técnico: O Paradoxo Percepção–Física: Investigando o Alinhamento Científico com TC-BENCH

1. Declaração do Problema

Modelos Fundamentais de Visão (VFMs) demonstraram forte desempenho zero-shot em benchmarks visuais, levando à sua adoção em domínios científicos. No entanto, os autores identificam uma limitação crítica: alta precisão preditiva em imagens de satélite frequentemente decorre de correlações visuais, e não de uma compreensão das invariantes estruturais subjacentes. Essa discrepância é denominada Paradoxo Percepção–Física.

Especificamente, os modelos podem parecer generalizar bem perceptivamente (por exemplo, entre diferentes regiões geográficas ou agências), enquanto falham em preservar os graus de liberdade físicos necessários para o raciocínio científico. Em regimes físicos extremos, como ciclones tropicais intensos, pistas visuais (como a estrutura das nuvens) podem saturar, tornando estados fisicamente distintos (por exemplo, pressões de 905 hPa vs. 915 hPa) visualmente indistinguíveis. Os VFMs podem mapear esses estados distintos para representações latentes similares, colapsando a variação física necessária para inferência científica precisa. Protocolos de avaliação atuais, que dependem de desempenho no caso médio ou testes de distribuição fora do treinamento (OOD) baseados em percepção, falham em detectar esse "colapso latente".

2. Metodologia

2.1 Alinhamento Científico e Isomorfismo Estrutural

Para abordar essa lacuna, o artigo introduz o Alinhamento Científico como um objetivo implícito para aprendizado de representações. Os autores formalizam um aspecto testável desse alinhamento chamado Isomorfismo Estrutural.

• Definição: Uma representação $z = g(x)$ é estruturalmente isomórfica a um sistema físico $S$ se existir um mapa linear injetivo $A$ tal que $z = Ay + \epsilon_\mu(y)$, onde $y$ representa as variáveis de estado físico e $\epsilon_\mu(y)$ é um resíduo uniformemente limitado.
• Implicação: Esta definição não requer o desenredamento coordenado a coordenado, mas garante que o espaço latente identifique o sistema físico até uma reparametrização linear. Isso implica que a geometria latente preserva a estrutura da variedade de estado físico.

2.2 O Framework de Sondas de Alinhamento Estrutural

Com base nas implicações do isomorfismo estrutural, os autores derivam uma hierarquia de condições necessárias, operacionalizadas como Sondas de Alinhamento Estrutural. Essas sondas testam se uma representação aprendida suporta propriedades físicas específicas:

1. Fidelidade Estática ($Q_{stat}$): O estado físico $y$ pode ser recuperado linearmente da representação latente $z$? (ou seja, $\|y - Lz\| \le \epsilon_{stat}$).
2. Coerência Dinâmica ($Q_{dyn}$): As derivadas latentes alinham-se com as derivadas físicas? (ou seja, $\|\dot{y} - L\dot{z}\| \le \epsilon_{dyn}$).
3. Consistência da Variedade ($Q_{con}$): As variáveis recuperadas satisfazem restrições físicas conhecidas (por exemplo, acoplamento pressão-vento)?

A análise teórica (Teorema 2.1) estabelece que, se a fidelidade estática e a coerência dinâmica se mantiverem com limites uniformes, a representação suporta consistência intervencional, permitindo simulações fisicamente plausíveis sob perturbações.

2.3 Conjunto de Dados TC-BENCH

Para operacionalizar essas sondas, os autores introduzem o TC-BENCH, um conjunto de dados de benchmark global, versionado e reproduzível para pesquisa de ciclones tropicais.

• Fontes de Dados: Integra o International Best Track Archive for Climate Stewardship (IBTrACS v4r01) para metadados (pressão central mínima $P_c$, vento sustentado máximo $V_m$) e GridSat-B1 para imagens de temperatura de brilho infravermelho em órbita geoestacionária.
• Escopo: Abrange 1980–2024 em sete agências meteorológicas e todas as bacias principais.
• Design: Diferentemente de benchmarks anteriores focados em desempenho no caso médio, o TC-BENCH inclui explicitamente regimes intensos ($P_c < 980$ hPa) e transições de ciclo de vida para permitir "testes de estresse fisicamente direcionados".

2.4 Protocolo Experimental

Os autores avaliam uma suíte diversificada de VFMs congelados (incluindo DINOv2/3, CLIP, SigLIP e MAE) usando uma sonda linear restrita ($L \in \mathcal{H}_{lin}$). A avaliação é estratificada por regimes de intensidade:

• Regime Moderado: $P_c \ge 980$ hPa.
• Regime Intenso: $P_c < 980$ hPa.
  O protocolo controla fatores de confusão, como desequilíbrio de amostras, capacidade da sonda (via sondas não lineares) e agregação de representações (via médias de tokens espaciais).

3. Resultados Principais

3.1 O Paradoxo Percepção–Física em Ação

Os experimentos revelam uma falha sistemática dos VFMs atuais em regimes intensos:

• Degradação da Fidelidade Estática: Embora os modelos performem bem em regimes moderados, o erro na recuperação linear da pressão ($P_c$) aumenta abruptamente no regime intenso. A hipótese de "Saturação Visual" sugere que os recursos saturam, tornando diferenças de intensidade de alta granularidade indistinguíveis no espaço latente.
• Colapso da Coerência Dinâmica: O alinhamento entre a evolução temporal latente e física degrada-se significativamente em regimes intensos, com picos de erro em regimes catastróficos ($P_c < 920$ hPa).
• Inconsistência da Variedade: Variáveis de pressão e vento recuperadas falham em respeitar acoplamentos físicos (por exemplo, a restrição de equilíbrio do vento gradiente em relação à latitude) em regimes intensos, com violações de restrição subindo de ~20% em regimes moderados para ~55% em regimes intensos.

3.2 Análise da Geometria Latente

Diagnósticos geométricos nas representações do DINOv3 (o melhor desempenho) confirmam o mecanismo de falha:

• Colapso de Dimensionalidade: Em regimes intensos, a dimensionalidade efetiva da covariância de características cai aproximadamente 60%.
• Compressão de Características: Tempestades fisicamente distintas são mapeadas para uma região mais estreita do espaço latente, reduzindo a dispersão de características.
• Perda de Resolução: A primeira componente principal (PC1), que correlaciona-se com a pressão em regimes moderados, perde sua variação sistemática com a pressão em regimes intensos.

3.3 Robustez das Descobertas

A falha não é um artefato da sonda linear ou do pré-treinamento em imagens estáticas:

• Sondas Não Lineares: Aumentar a capacidade da sonda (MLP, Transformer) não resolve a lacuna de desempenho.
• Baselines Supervisionadas: Um modelo supervisionado treinado do zero em dados de pixels alcança erro menor em regimes intensos, provando que o sinal está estatisticamente presente nas imagens, mas não é capturado pelas representações de VFM congeladas.
• Modelos de Vídeo: Pré-treinamento temporal (VideoMAE, V-JEPA2) melhora o desempenho médio, mas falha em eliminar a degradação dependente do regime.

4. Contribuições

1. Alinhamento Científico como Lente Diagnóstica: O artigo articula o Paradoxo Percepção–Física e formaliza o Isomorfismo Estrutural como um conjunto de condições necessárias falsificáveis para usabilidade científica. Desloca o foco da avaliação da robustez perceptiva para a preservação estrutural de invariantes físicos.
2. TC-BENCH: Um conjunto de dados de benchmark global e reproduzível com um pipeline de construção automatizado, projetado especificamente para testar sob estresse representações em regimes físicos extremos onde pistas visuais saturam.
3. Framework Unificado de Sondagem: Um protocolo sistemático (Fidelidade Estática, Coerência Dinâmica, Consistência da Variedade) que expõe um modo de falha — colapso latente dependente do regime — ignorado por avaliações convencionais de caso médio ou OOD.

5. Significado e Afirmativas

Os autores posicionam este trabalho como diagnóstico, não prescritivo. Eles não afirmam que os VFMs são inerentemente incapazes de aprender representações alinhadas fisicamente, nem que o treinamento específico de tarefas não pode recuperar informações físicas. Em vez disso, o artigo demonstra que:

• Avaliações atuais são insuficientes: Métricas padrão e testes OOD orientados por percepção não podem certificar o alinhamento em relação a consultas científicas específicas, particularmente em regimes extremos.
• A escalabilidade não é uma solução mágica: O alinhamento científico não surge como um subproduto natural da escalabilidade apenas; modelos podem parecer corretos sem raciocinar corretamente.
• Condições necessárias para a ciência: O framework proposto fornece um conjunto mínimo de condições testáveis para determinar se uma representação pode servir como um substituto estrutural válido para sistemas físicos.

Os autores observam que o Paradoxo Percepção–Física é provavelmente generalizável para outras configurações de sensoriamento remoto de alto impacto (por exemplo, monitoramento de incêndios florestais) onde as observações tornam-se localmente insensíveis a variações fisicamente significativas em regimes extremos. O trabalho enfatiza a necessidade de sondas conscientes da consulta e fundamentadas na física para garantir que as representações aprendidas suportem raciocínio científico coerente.