🤖 machine learning

Now We Know? A Systematic Comparison of TerraMind and THOR

Este artigo apresenta uma comparação sistemática de dois Modelos de Fundação Geoespaciais da Agência Espacial Europeia, THOR e TerraMind, através de dez casos de uso diversos para demonstrar que as escolhas de design arquitetônico — especificamente o tamanho do patch e a complexidade do decodificador — explicam mais a variância de desempenho do que a identidade do modelo, revelando estratégias de investimento complementares e estabelecendo uma metodologia de diagnóstico para a avaliação futura de GFMs.

Autores originais: Frederick Schindlegger, Kenzo Bounegta, Eva Gmelich Meijling, Johannes Jakubik, Arnt-Børre Salberg, Theodor Forgaard, Nicolas Longepe, Valerio Marsocci

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Frederick Schindlegger, Kenzo Bounegta, Eva Gmelich Meijling, Johannes Jakubik, Arnt-Børre Salberg, Theodor Forgaard, Nicolas Longepe, Valerio Marsocci

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um computador a entender a Terra do espaço. Durante anos, cientistas têm construído "Modelos de Fundação Geoespaciais" (GFMs). Pense nesses modelos como cérebros superinteligentes e pré-treinados que já observaram bilhões de fotos de satélite. Eles são como um estudante que leu todos os livros didáticos de geografia na biblioteca antes mesmo de fazer um teste específico. Por terem visto tanto, eles podem aprender novas tarefas — como encontrar inundações ou rastrear icebergs — muito mais rápido do que um modelo que começa do zero. Mas aqui está a parte complicada: temos muitos desses "supercérebros", e todos recebem pontuações diferentes nos testes. Às vezes, um modelo é melhor em encontrar inundações, e outro é melhor em detectar incêndios. A grande questão é: Por quê? Será que um modelo é apenas mais inteligente devido à arquitetura de seu cérebro? É porque ele tem um "decodificador" melhor (a parte que traduz sinais cerebrais em um mapa)? Ou é apenas sorte com as imagens específicas nas quais foi testado? Até agora, temos apenas olhado para as pontuações finais, como um ranking esportivo, sem entender a mecânica por trás da vitória.

Este artigo, intitulado "Now We Know?", é como uma história de detetive onde dois detetives rivais, THOR e TerraMind, são submetidos a uma série de experimentos controlados para ver o que realmente os faz funcionar. Ambos foram construídos por equipes financiadas pela Agência Espacial Europeia, mas possuem filosofias muito diferentes. O THOR é o "camaleão": ele pode mudar seu "tamanho de patch" (como ele fatia uma imagem) sobre a hora, trocando poder computacional por detalhes mais nítidos quando necessário. O TerraMind é o "artista generativo": ele foi treinado para imaginar partes perdidas de um quebra-cabeça, permitindo que ele preencha lacunas ou mude entre diferentes tipos de sensores (como transformar uma imagem de radar em uma óptica) usando um truque chamado "Thinking-in-Modalities" (Pensar em Modalidades).

Os pesquisadores não apenas deixaram esses modelos lutarem entre si em um ranking. Em vez disso, realizaram um "estudo de ablação" massivo, que é uma forma elegante de dizer que eles desmontaram os modelos e os remontaram peça por peça para ver qual parte importava mais. Eles testaram esses modelos em dez missões diferentes do mundo real, desde o rastreamento de vazamentos de metano até o mapeamento de cobertura de neve.

Aqui está o que eles descobriram, e é um pouco de uma reviravolta no enredo. Primeiro, descobriram que a pontuação do "ranking" é frequentemente uma mentirosa. O maior fator que determina quem vence não é necessariamente qual modelo (THOR ou TerraMind) você escolhe, mas como você fatia a imagem e quão complexo é o seu decodificador. Se você fatiar uma imagem em pedaços minúsculos (tamanho de patch pequeno), o THOR torna-se incrivelmente poderoso, especialmente para detectar coisas pequenas e complicadas como icebergs ou zonas de inundação, porque ele vê os detalhes finos. No entanto, isso vem com um alto custo: exige muito poder computacional. O TerraMind, por outro lado, usa um tamanho de fatia fixo. Ele brilha quando você precisa processar imagens ópticas (como fotos padrão) de forma eficiente, mas tem um pouco mais de dificuldade com dados puramente de radar, a menos que você lhe dê um decodificador muito poderoso.

O estudo também descartou algumas suposições comuns. Por exemplo, muitas pessoas pensavam que simplesmente fundir dados de dois satélites diferentes (como combinar radar e óptico) sempre tornaria o modelo mais inteligente. Os pesquisadores descobriram que, com conjuntos de dados completos, isso nem sempre era verdade; às vezes, usar apenas os dados ópticos era melhor, porque o método de fusão que utilizaram era simples demais para lidar com o ruído extra. Eles também descobriram que "congelar" o cérebro do modelo (não permitir que ele aprenda coisas novas durante o teste) funcionou surpreendentemente bem para o TerraMind em tarefas ópticas, mas o THOR frequentemente precisava ser totalmente "descongelado" (permitido aprender) para atingir seu pleno potencial, especialmente em tarefas de radar.

Em última análise, o artigo sugere que não existe um único "vencedor". Não se trata de qual modelo é o melhor do mundo, mas de combinar a ferramenta ao trabalho. Se você tem um computador potente e precisa encontrar objetos pequenos e específicos em imagens de radar, o THOR com um tamanho de patch minúsculo é o seu herói. Se você precisa de um modelo rápido e eficiente para mapeamento óptico geral, o TerraMind pode ser a melhor escolha. Os autores concluem que o futuro desses modelos não é apenas construir cérebros maiores, mas compreender as trocas específicas entre como fatiamos os dados, como decodificamos as respostas e que tipo de "cérebro" estamos usando. É um lembrete de que, no mundo da IA, o contexto é tudo.

Título: Agora Sabemos? Uma Comparação Sistemática entre TerraMind e THOR

Definição do Problema
Os benchmarks atuais para Modelos de Fundação Geoespaciais (GFMs) dependem cada vez mais de pontuações agregadas para classificar modelos. Os autores argumentam que tais classificações obscurecem as razões subjacentes às diferenças de desempenho, confundindo as contribuições do backbone pré-treinado, da capacidade do decodificador, dos regimes de ajuste fino (fine-tuning) e dos esquemas de tokenização espacial. Isso torna difícil determinar se as lacunas de desempenho decorrem de vantagens arquitetônicas genuínas ou de artefatos específicos do conjunto de dados. Além disso, os benchmarks existentes frequentemente falham em responder ao porquê de os modelos diferirem, particularmente no que diz respeito a como escolhas de design, como o tamanho do patch, a complexidade do decodificador e a modalidade de entrada, influenciam o desempenho no mundo real através de diversos domínios de Observação da Terra (EO).

Metodologia
O estudo conduz um estudo de ablação controlado comparando dois GFMs desenvolvidos sob o $\phi$ -lab da Agência Espacial Europeia, que incorporam filosofias de design contrastantes:

THOR: Um Vision Transformer (ViT) que utiliza uma arquitetura adaptável ao computacional (FlexiViT) que suporta tamanhos de patch variáveis na inferência. Ele unifica dados Sentinel-1, -2 e -3 em suas resoluções nativas (10 m–1 km) usando codificação posicional consciente da distância de amostragem do solo (GSD).
TerraMind: Um GFM generativo multimodal pré-treinado em 500 bilhões de tokens através de oito modalidades (incluindo SAR, óptico, LULC, DEM e texto). Ele emprega um objetivo de token/pixel de escala dupla e um mecanismo de "Pensamento-nas-Modalidades" (TiM) para inferir sensores ausentes ou gerar modalidades auxiliares durante a inferência.

A avaliação abrange dez casos de uso cobrindo segmentação semântica, regressão, detecção de objetos e detecção de mudanças através de diversos domínios (ex: mapeamento de inundações, detecção de metano, monitoramento de neve, monitoramento de gelo marinho). A metodologia adere aos seguintes princípios:

Variáveis Controladas: Hiperparâmetros que não são intrínsecos à arquitetura são fixados (seguindo os protocolos PANGAEA), enquanto as especificidades estruturais (ex: tamanhos de patch variáveis do THOR) são exploradas.
Correspondência de Capacidade: Os modelos são permitidos para rodar em sua melhor configuração alcançável dentro das restrições de hardware (uma única GPU RTX A6000), em vez de degradar um para igualar o outro.
Eixos de Ablação: O estudo varia sistematicamente o tamanho do patch (para o THOR), a complexidade do decodificador (Linear vs. UperNet), a adaptação do backbone (congelado vs. ajustado) e a modalidade de entrada, além da escala do modelo (Tiny vs. Base).
Abordagem Diagnóstica: Em vez de um único leaderboard, o estudo isola as contribuições marginais de eixos de design específicos para entender a variância de desempenho.

Principais Contribuições

Ablação Controlada de Grande Escala: Os autores executaram uma comparação abrangente entre dois GFMs arquiteturalmente distintos e dez casos de uso de EO.
Metodologia Diagnóstica: Eles introduziram um framework para isolar a contribuição marginal de escolhas de implementação arquitetônica (ex: tamanho de patch, tipo de decodificador) da própria identidade do modelo.
Caracterização ao Nível do Conjunto de Dados: O estudo demonstra que interpretar corretamente os resultados de ablação requer a caracterização dos casos de uso ao nível do conjunto de dados, argumentando que isso é um componente necessário para um benchmarking rigoroso, em vez de um detalhe de pré-processamento.
Hipóteses Generalizáveis: Os autores destilaram padrões em hipóteses esperadas que se generalizam para ViTs baseados em modelos de fundação além do THOR e TerraMind, oferecendo orientação prática de implementação.

Resultados

Design Arquitetônico vs. Identidade do Modelo: Escolhas de design arquitetônico, particularmente o tamanho do patch e o tipo de decodificador, explicam mais a variância de desempenho do que a identidade do modelo em si.
Estratégias Complementares: Os modelos representam estratégias de investimento complementares. O TerraMind investe na escala de tempo de pré-treinamento (500B tokens, objetivos de escala dupla) para produzir características de resolução fixa fortes, enquanto o THOR transfere o fardo para a tokenização em tempo de inferência (tamanhos de patch variáveis) para trocar computação por resolução.
Dominância do Tamanho do Patch: A tokenização espacial é o principal vetor de desempenho. Reduzir o patch pela metade (ex: de 32 para 16) frequentemente gera os maiores ganhos de precisão, particularmente para tarefas com alvos espacialmente compactos ou de classe minoritária (ex: extensões de inundação, icebergs). No entanto, a relação não é estritamente monotônica e depende da tarefa.
Interação do Decodificador: A lacuna de desempenho entre decodificadores complexos (UperNet) e decodificadores lineares simples diminui conforme o tamanho do patch diminui. Para o THOR, a tokenização mais fina (ex: ps4/ps8) reduz a necessidade de decodificadores complexos, pois o backbone já codifica detalhes locais suficientes. Por outro lado, o TerraMind (ps16 fixo) beneficia-se consistentemente de decodificadores multiescala, especialmente em tarefas de segmentação óptica.
Integração de Modalidade e Sensor:
- Óptico vs. SAR: Em regimes de dados completos, a fusão simples de Sentinel-1 (SAR) e Sentinel-2 (Óptico) não superou consistentemente o Sentinel-2 sozinho, sugerindo que mecanismos de fusão rasa podem introduzir ruído quando os sinais ópticos são abundantes. No entanto, a contribuição do SAR foi positiva em regimes de baixos dados.
- Generalização entre Sensores: O TerraMind, apesar de não possuir o Sentinel-3 em seu corpus de pré-treinamento, permaneceu competitivo em tarefas de monitoramento de neve quando as bandas do Sentinel-3 foram mapeadas para comprimentos de onda do Sentinel-2, sugerindo que a compatibilidade espectral pode superar a resolução espacial nativa.
Escala do Modelo: Modelos Base geralmente superam modelos Tiny, mas a lacuna depende da tarefa. Notavelmente, em regimes congelados para tarefas intensivas em SAR (Gelo Marinho), modelos Tiny às vezes superaram modelos Base, desafiando a suposição de que a capacidade sempre garante melhor transferibilidade fora dos domínios principais de treinamento.
Eficiência de Dados: Em regimes de poucos dados, o THOR com ajuste fino e patches finos (ps4) demonstrou eficiência de dados significativa, alcançando níveis de desempenho com 5% dos dados que o UNet exigiu 50% para atingir.

Significância e Alegações
O artigo alega que o quadro resultante não é um único "vencedor", mas um conjunto de hipóteses e uma metodologia de ablação diagnóstica. Os autores afirmam que:

Leaderboards agregados são insuficientes para entender o comportamento do modelo; o desempenho deve ser analisado através da lente de eixos de design específicos e características do conjunto de dados.
O trade-off entre investimento em pré-treinamento (TerraMind) e adaptabilidade em tempo de inferência (THOR) é uma decisão crítica para praticantes, dependendo das restrições de implementação (orçamento de treinamento vs. latência de inferência) e das modalidades de sensores.
A metodologia diagnóstica desenvolvida aqui espera-se que se generalize para futuros GFMs, fornecendo um framework para atribuir diferenças de desempenho a escolhas de design específicas e nomeáveis, em vez de tratar modelos como caixas pretas.
O estudo destaca que "interpretar corretamente os resultados requer a caracterização ao nível do conjunto de dados", posicionando isso como um requisito fundamental para um benchmarking rigoroso de GFMs.

Mais como este