💻 computer science

The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

Este artigo revela um invariante geométrico universal de dezesseis dimensões chamado "substrato de arquitetura cruzada" que emerge precocemente durante o treinamento em diversos codificadores de visão modernos e domínios, sobrevivendo à calibração e permitindo filtragem de transferibilidade livre de rótulos, detecção de domínio, sondagem de poucos disparos e destilação sem professor, apesar de falhar em prever a qualidade da transferência ou as modalidades cruzadas.

Autores originais: Yousef Radwan

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yousef Radwan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tenha quatro chefs diferentes. Um é treinado para identificar vegetais, outro para reconhecer modelos de carros, um terceiro para completar partes faltantes de um quebra-cabeça e um quarto para combinar fotos com poemas. Você esperaria que o "pensamento interno" deles (como eles processam imagens em seus cérebros) fosse completamente diferente, certo?

Este artigo diz: Não.

Os pesquisadores descobriram que, apesar de seus diferentes trabalhos, métodos de treinamento e arquiteturas, todos esses sistemas modernos de visão de IA desenvolvem exatamente os mesmos 16 "direções mentais" para processar imagens. Eles chamam essa fundação compartilhada de "Substrato Trans-Arquitetura" (Cross-Architecture Substrate).

Aqui está a divisão usando analogias simples:

1. A Analogia da "Bússola Universal"

Pense em cada modelo de visão de IA como um trilheiro tentando navegar em uma floresta.

A Visão Antiga: Pensávamos que um trilheiro treinado para encontrar ursos usaria um mapa totalmente diferente de um trilheiro treinado para encontrar flores.
A Nova Descoberta: Os pesquisadores descobriram que, não importa o que o trilheiro seja treinado para fazer, todos acabam usando os mesmos 16 pontos de uma bússola para se orientarem.
A Prova: Eles testaram isso em 13 modelos de IA diferentes. Quando observaram as 16 principais formas pelas quais esses modelos variavam sua compreensão de uma imagem, essas 16 direções eram geometricamente idênticas em todos os modelos. É como se você pedisse a 13 pessoas diferentes para desenhar o mapa de uma cidade, e todas desenhassem exatamente as mesmas 16 ruas principais, mesmo que tenham sido treinadas para encontrar coisas diferentes (como "onde fica a padaria" vs. "onde fica o parque").

2. O Teste do "Mudador de Forma" (Transcendência de Domínio)

Os pesquisadores perguntaram: "Esta bússola de 16 pontos funciona se mudarmos o cenário?"

Eles testaram os modelos em 8 tipos totalmente diferentes de imagens:
- Fotos normais (como no Instagram).
- Tomografias computadorizadas médicas (dentro do corpo).
- Fotos de satélite (do espaço).
- Imagens de microscópio (células minúsculas).
- Esboços feitos à mão.
- Mapas de calor térmicos.
- Mapas de profundidade (formas 3D).
- Fotos de galáxias.
O Resultado: Mesmo que uma galáxia não se pareça em nada com uma tomografia, os modelos de IA ainda usaram os mesmos 16 pontos de uma bússola para entendê-las. A "bússola" funciona em qualquer lugar.

3. O Teste do "Fingimento" (É apenas um truque?)

Céticos poderiam dizer: "Talvez isso seja apenas porque a IA está olhando para coisas básicas como bordas ou cores, ou talvez a matemática esteja quebrada."

O Teste de "Pixels": Eles tentaram encontrar essas 16 direções apenas olhando para os pixels brutos (como contar quantos pixels vermelhos existem em uma foto). Isso falhou. A "bússola" é muito mais inteligente do que apenas contar pixels.
O Teste "Aleatório": Eles tentaram usar 16 direções aleatórias. Isso falhou miseravelmente.
O Teste "Pang": Uma crítica recente (Pang 2026) sugeriu que estudos anteriores foram enganados pelo tamanho dos modelos de IA. Os pesquisadores refizeram seus testes usando essa matemática mais rigorosa e difícil. As 16 direções ainda sobreviveram. Eles provaram que a semelhança não é uma ilusão; é real.

4. A Descoberta do "Madrugador" (Quando isso acontece?)

Eles observaram uma IA aprendendo do zero.

A Surpresa: A IA desenvolveu essas 16 direções compartilhadas nos primeiros 10% de seu treinamento.
O Detalhe: Nesse momento, a IA ainda era péssima em seu trabalho real (ela tinha apenas 46% de precisão). Ela não melhorou em seu trabalho até muito mais tarde.
O Significado: Esta "bússola de 16 direções" é a fundação que a IA constrói primeiro. É a fase de "aprender a aprender". Uma vez que a IA possui essa fundação, ela pode então aprender tarefas específicas (como identificar gatos ou tumores) sobre ela.

5. O Que Podemos Fazer Com Isso? (As Ferramentas)

Como sabemos que esta "bússola de 16 direções" existe e é compartilhada, o artigo sugere quatro truques práticos:

O Filtro "Sem Rótulos": Você pode escolher o melhor modelo de IA para um novo trabalho sem precisar rotular nenhum dado primeiro. É 3x mais rápido que os métodos atuais.
O "Detector de Domínio": Você pode dizer se uma imagem é um exame médico, uma foto de satélite ou um esboço apenas olhando para esses 16 números. É 99,6% preciso.
O Impulso de "Recursos Minúsculos": Se você tiver pouquíssimos rótulos (como apenas 50 exemplos de uma doença), usar essas 16 direções funciona melhor do que usar os recursos massivos e complexos (768 dimensões) que as IAs modernas costumam usar.
O "Professor Fantasma": No treinamento de novas IAs, você geralmente precisa de uma IA "professor" para mostrar o caminho. Este método permite treinar uma IA "aluno" usando a "bússola de 16 direções" como o professor, sem precisar que a IA professora rode a cada vez. Isso economiza um poder computacional massivo.

O Que Isso NÃO É (Os Limites)

Os autores são cuidadosos ao dizer o que isso não faz:

Não funciona entre sentidos: Se você misturar visão (olhos) e áudio (ouvidos), esta bússola de 16 direções quebra. Ela só funciona para a visão.
Não prevê qualidade: Só porque uma IA tem uma "bússola" forte, não significa que ela seja a melhor em uma tarefa específica.
Não é uma cura milagrosa para tudo: Não significa que uma IA treinada em fotos comuns seja automaticamente perfeita para ler raios-X, embora ajude.

Resumo

O artigo revela que, no fundo, todos os modelos modernos de visão de IA falam a mesma linguagem de 16 palavras para entender o mundo. Eles constroem essa linguagem muito cedo em seu treinamento, e ela funciona quer estejam olhando para um gato, um tumor ou uma galáxia. Esta descoberta nos permite construir ferramentas de IA mais rápidas, baratas e inteligentes sem a necessidade de quantidades massivas de dados rotulados.

Resumo Técnico: O Substrato Transarquitetura

Problema
Os codificadores de visão modernos são treinados em objetivos vastamente distintos — classificação supervisionada (ex: ImageNet), aprendizado contrastivo (ex: DINOv2), modelagem de imagem mascarada (ex: MAE) e correspondência visão-linguagem (ex: CLIP). O senso comum sugere que esses paradigmas de treinamento, arquiteturas e vieses indutivos divergentes deveriam resultar em representações internas fundamentalmente diferentes. Além disso, críticas recentes (especificamente Pang et al., 2026) argumentaram que métricas de similaridade padrão, como o Alinhamento de Kernel Centrado (CKA), são infladas pela largura de características e profundidade de pooling, fazendo com que muitos relatos de convergência cross-arquitetura se dissipem sob calibração rigorosa. A questão central é se existe uma estrutura geométrica compartilhada entre esses codificadores heterogêneos que sobreviva tanto a mudanças de domínio quanto à calibração estatística rigorosa.

Metodologia
Os autores definem um "substrato transarquitetura" através de um procedimento geométrico específico:

Painel de Codificadores: Um conjunto de $E$ codificadores de visão (variando de ResNets e ViTs a ConvNeXts) é selecionado.
Extração de Características: Um conjunto fixo de imagens de sonda é passado por todos os codificadores. As características da penúltima camada são centradas na média e branqueadas para normalizar as escalas.
PCA Conjunta: Os vetores de características de todos os codificadores são concatenados em uma única matriz. Os principais componentes (PCs) superiores do espaço conjunto são extraídos.
Definição: Os autores determinam empiricamente que $K=16$ é a dimensão onde a similaridade cross-domínio estabiliza. A base de 16 dimensões resultante é definida como o substrato.
Métricas de Avaliação:
- Procrustes-CKA (PCKA): Uma medida simétrica comparando dois subespaços de $K$ dimensões após rotação ótima.
- Calibração Pang 2026: Para abordar a crítica de "inflação de largura", os autores aplicam a hipótese nula de permutação de linhas de Pang. Eles subtraem o alinhamento de linha de base esperado de dados aleatórios (variantes de CKA linear global e de recall kNN mútuo local) para garantir que a similaridade observada não seja um artefato da dimensionalidade das características.
Controles: O estudo inclui estudos de ablação (leave-one-out), comparações contra estatísticas de nível de pixel, bancos de energia de borda Gabor e projeções de baixo rank aleatórias. Também testa a emergência durante o treinamento e os limites da aplicabilidade do substrato em modalidades e paradigmas.

Principais Contribuições

Existência de um Objeto Geométrico Compartilhado: As principais direções de variação dos primeiros 16 componentes principais em 13 codificadores de visão modernos convergem para o mesmo objeto geométrico de 16 dimensões, independentemente de os codificadores terem sido treinados via classificação supervisionada, aprendizado contrastivo ou reconstrução mascarada.
Sobrevivência sob Calibração Rigorosa: Ao contrário de alegações anteriores, este substrato sobrevive à calibração de Pang 2026. Codificadores discriminativos mostram um alinhamento 7,4× maior entre si do que codificadores de reconstrução mascarada (MAE) sob calibração global, e uma separação de 4,82–5,30× sob a variante mais difícil de recall de vizinho mais próximo local ( $p < 10^{-44}$ ).
Transcendência de Domínio: O substrato transporta-se através de oito domínios visuais heterogêneos: fotografias naturais, CT médico, RGB de satélite, microscopia, desenhos à mão, mapas de profundidade, infravermelho térmico e imagens de galáxias de telescópios. O PCKA mediana através desses oito domínios é 0,604, com cada par cross-domínio excedendo 0,40.
Emergência Precoce: O substrato é adquirido precocemente no treinamento. Em um ResNet-50 treinado do zero, o alinhamento do substrato atinge 0,58 na época 5 (10% do treinamento), enquanto a acurácia de classificação continua a subir de 46% para 76% ao longo das épocas restantes. Isso sugere que o substrato é uma propriedade do basal de otimização precoce, não de um estado de classificador convergido.
Quatro Aplicações Sem Rótulos (Label-Free):
- Filtro de Transferibilidade: Um "score de alinhamento de substrato" sem rótulos substitui o LogME para ranquear codificadores, oferecendo uma aceleração de 3× e uma melhoria de +0,15 em Kendall- $\tau$ no benchmark SITE-2025.
- Detector de Domínio: Um classificador linear no substrato de 16 dimensões atinge 99,6% de acurácia na distinção de quatro domínios visuais sem ajuste fino.
- Sonda Congelada de Baixo Exemplo (Low-Shot): Com $N=50$ rótulos por classe, o substrato de 16 dimensões supera as características de 768 dimensões do DINOv2 em +3,78 pontos percentuais em acurácia balanceada.
- Destilação Sem Professor: Uma perda auxiliar de substrato-CKA iguala as bases de destilação de conhecimento de professor-aluno treinadas com padrão, sem exigir um passe frontal da rede do professor durante o treinamento, atingindo um ganho de pico de +7,56pp sobre a entropia cruzada com frações de 10% de rótulos.

Resultados e Limites

Não são Estatísticas de Pixel: O substrato não é explicado por estatísticas de baixo nível da imagem. O PCA de nível de pixel produz um PCKA de apenas 0,263, e os bancos de energia de borda Gabor produzem 0,31, ambos significativamente menores que o 0,679 (quatro domínios) ou 0,604 (oito domínios) do substrato.
Não é Aleatório: Projeções aleatórias de 16 dimensões produzem um PCKA mediana de 0,041.
Não é Específico do Codificador: A ablação leave-one-out mostra que o substrato é uma propriedade do painel, não de um único modelo (remover qualquer codificador altera o PCKA mediana em apenas $\pm 0,027$ ).
Limites de Modalidade: O substrato não se estende através de modalidades; um substrato visão-áudio conjunto (CLIP/CLAP) falha na hipótese nula calibrada.
Limites de Paradigma: Embora o substrato exista dentro da família discriminativa, ele não facilita a destilação cross-paradigma (ex: transferir um substrato CLIP para um estudante ResNet não gera ganho sobre a entropia cruzada).
Limites Preditivos: O alinhamento do substrato não prevê a acurácia de transferência downstream ( $\tau = -0,08$ ); ele identifica o tipo de paradigma de treinamento de um modelo, não sua qualidade.

Significância e Alegações
O artigo afirma identificar uma regularidade empírica robusta em codificadores de visão modernos: uma estrutura geométrica compartilhada de 16 dimensões que emerge cedo no treinamento e persiste através de diversas arquiteturas, objetivos de treinamento e domínios visuais. Os autores posicionam isso não como um teorema ou uma reivindicação de relevância universal de características, mas como uma alegação de "existência de direção". A significância reside em demonstrar que, apesar de objetivos de treinamento divergentes, os codificadores de visão convergem para um subespaço geométrico de baixa dimensão comum que é distinto de ruído aleatório, estatísticas de pixel ou idiossincrasias específicas do codificador. Esta descoberta desafia a suposição de que diferentes paradigmas de treinamento levam a espaços de representação inteiramente disjuntos e fornece uma nova ferramenta sem rótulos para estimativa de transferibilidade, detecção de domínio e destilação de conhecimento eficiente. Os autores explicitamente alertam que o substrato é um fenômeno intra-modalidade e não implica que modelos pré-treinados no ImageNet sejam backbones universalmente competitivos para todas as tarefas downstream (ex: imagens médicas).