🤖 machine learning

TESSERA v2: Scaling Pixel-wise Earth Foundation Models

Este artigo apresenta o maior estudo de escalonamento controlado para modelos de fundação de observação da Terra por pixel, revelando que a perda de pré-treinamento é um preditor pobre do desempenho em tarefas subsequentes e estabelecendo uma regra de alocação de computação que permite a criação de modelos estudantes destilados, compactos e de alto desempenho, que superam os produtos existentes ao mesmo tempo em que suportam embeddings Matryoshka flexíveis e de baixo custo.

Autores originais: Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madha

Publicado 2026-08-07

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madhavapeddy, Srinivasan Keshav

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar entender a Terra olhando para um álbum de fotos gigante e bagunçado. Cada página é uma foto de um local específico do planeta, mas as fotos foram tiradas em momentos diferentes, por câmeras diferentes, e metade delas está coberta por nuvens ou névoa. Esta é a realidade diária dos cientistas que estudam o nosso planeta usando satélites. Eles precisam transformar esses instantâneos caóticos e incompletos em um mapa claro e utilizável do que a Terra está fazendo — seja rastreando como as florestas crescem, contando safras ou detectando poluição. Para fazer isso, eles usam algo chamado "modelos de fundação". Pense nesses modelos como estudantes superinteligentes que leram todas as fotos de satélite já tiradas. Em vez de lhe entregar as fotos brutas e pesadas, esses estudantes resumem a informação em um "cartão de identidade" minúsculo e eficiente (um embedding) para cada ponto da Terra. Esse cartão de identidade diz tudo o que você precisa saber sobre aquele local sem a necessidade de carregar todo o álbum de fotos. A grande questão, no entanto, sempre foi: Como treinamos esses estudantes para serem os melhores possíveis sem desperdiçar uma fortuna em eletricidade e tempo?

Este artigo, intitulado TESSERA V2, é um experimento massivo para responder exatamente a essa pergunta. Os pesquisadores realizaram 395 sessões de treinamento diferentes para descobrir a receita perfeita para construir esses modelos de observação da Terra. Eles descobriram algumas coisas surpreendentes. Primeiro, descobriram que a maneira habitual de julgar o progresso de um estudante — olhando para sua "nota de lição de casa" (a perda de pré-treinamento) — é, na verdade, um péssimo preditor de quão bem ele se sairá no mundo real. É como um aluno que tira um A em um teste prático, mas reprova no exame final; o artigo mostra que confiar nessa pontuação desperdiça uma quantidade enorme de poder computacional. Em vez disso, descobriram que a estratégia vencedora é tornar o "cérebro" do modelo (o codificador) muito maior e alimentá-lo com mais dados, enquanto mantém a parte que organiza as respostas (o projetor) pequena e fixa.

Mas há um porém: um cérebro gigante é caro para operar. Se você construir um professor superinteligente, custará demais para usar todos os dias. Por isso, a equipe usou um truque inteligente chamado "destilação". Eles treinaram um modelo "professor" gigante, de 2 bilhões de parâmetros, usando suas novas regras, e depois ensinaram quatro modelos "alunos" menores a copiar seu pensamento. Esses alunos são minúsculos em comparação ao professor, mas ainda assim incrivelmente inteligentes. Mais legal ainda, esses alunos podem cuspir respostas em tamanhos diferentes, como uma boneca russa (Matryoshka). Você pode pedir uma resposta minúscula de 16 dimensões que ocupa muito pouco espaço de armazenamento, mas mantém 92% da precisão, ou uma resposta completa de 128 dimensões se precisar de cada último detalhe. O resultado é uma família de modelos que é mais barata para armazenar, mais rápida para rodar e mais precisa em tarefas do mundo real do que qualquer outro sistema aberto ou privado testado, provando que, às vezes, a melhor maneira de escalar é treinar um gigante e depois encolhê-lo.

Resumo Técnico: TESSERA V2 – Escalando Modelos de Fundação de Terra Pixel a Pixel

Declaração do Problema

A aplicação da observação da Terra (EO - Earth Observation) em tarefas de jusante enfrenta gargalos significativos: a preparação de dados é laboriosa (calibração radiométrica, correção de nuvens, harmonização entre sensores), os rótulos de verdade fundamental (ground-truth) são escassos e específicos de cada região, e as imagens brutas contêm cadências de amostragem irregulares e oclusões por nuvens. Embora os produtos de "embeddings-como-dados" visem fornecer representações vetoriais prontas para análise da superfície terrestre, os sistemas existentes sofrem de especificações rígidas. Eles frequentemente oferecem uma única dimensão de embedding e tamanho de modelo fixos, forçando todos os usuários a incorrer nos mesmos custos de armazenamento e E/S (I/O), independentemente de seus requisitos específicos de orçamento ou tarefa. Além disso, as leis de escala que regem como alocar o poder computacional de pré-treinamento (entre o tamanho do codificador, o tamanho do projetor e o volume de dados) no domínio da EO permanecem mal compreendidas, com muitos estudos baseando-se na perda de pré-treinamento como um proxy para o desempenho em tarefas de jusante — um proxy que pode ser pouco confiável devido às características únicas dos dados de satélite (ex: dominância de nuvens e amostragem orbital).

Metodologia

1. Estudo de Escala Orientado por Tarefas de Jusante

Os autores conduziram o maior estudo controlado de escala para EO até o momento, envolvendo 395 execuções de treinamento dentro de uma família fixa de Barlow Twins pixel a pixel.

Arquitetura: Uma família arquitetônica fixa de codificadores Sentinel-1/2 pixel a pixel foi selecionada via uma varredura preliminar.
Variáveis: O estudo realizou uma varredura em três dimensões: tamanho do codificador ( $N_{enc}$ , 16 larguras de 7M a 278M de parâmetros), tamanho do projetor ( $N_{proj}$ , 4 larguras) e volume de dados de treinamento ( $D$ , 0,03M a 3.202M de d-pixels).
Avaliação: Cada modelo foi avaliado em 15 tarefas diversas de jusante (classificação, detecção de mudança, regressão) do conjunto ALPHAEARTH.
Métrica de Computação: O total de FLOPs de treinamento foi calculado usando uma fórmula específica que contabiliza três passagens do codificador por etapa (duas visões aumentadas + uma visão de mix-up) e o custo de correlação cruzada do Barlow Twins.

2. Principais Descobertas sobre Leis de Escala

O estudo gerou duas descobertas empíricas críticas que contradizem as suposições padrão de escala de linguagem/visão:

Descoberta F1 (Perda é um Mau Proxy): A perda de pré-treinamento convergida mal prevê o desempenho em tarefas de jusante ( $|Pearson\ r| < 0,2$ ). Selecionar modelos baseando-se apenas na perda exige aproximadamente 2 a 5 vezes mais computação para atingir o mesmo escore de tarefa que a seleção baseada no desempenho real da tarefa.
Descoberta F2 (Alocação Ótima): À medida que o orçamento de treinamento cresce, a estratégia ideal é aumentar a capacidade do codificador e os dados de treinamento simultaneamente, mantendo o tamanho do projetor fixo. O projetor atua como um "andaime de treinamento descartável" em vez de um eixo de escala. As leis de potência ajustadas são $N_{enc} \propto C^{0,36}$ e $D \propto C^{0,63}$ , enquanto $N_{proj} \propto C^{0,011}$ (estatisticamente indistinguível de zero).

3. Destilação Professor-Aluno e Embeddings MATRYOSHKA

Para preencher a lacça entre professores grandes de alto desempenho e produtos implantáveis, os autores empregaram uma estratégia de destilação:

Treinamento do Professor: Um codificador pixel a pixel massivo de 2 bilhões de parâmetros foi treinado usando a regra de escala derivada (codificador superdimensionado + dados correspondentes, projetor fixo) em cerca de 14 bilhões de d-pixels.
Destilação: O professor de 2B congelado foi usado para destilar uma família de alunos compactos (tamanhos N, S, M, L, variando de 1M a 44M de parâmetros).
Representação MATRYOSHKA: Ao contrário do pré-treinamento auto-supervisionado, que identifica subespaços apenas até a rotação, a destilação contra um professor fixo fornece o sinal necessário para ordenar as coordenadas de embedding. Isso permite que os alunos produzam embeddings aninhados onde os prefixos de dimensões $d \in \{16, 32, 64, 128\}$ são representações válidas. Um prefixo de 16 dimensões retém ~92% do desempenho do embedding completo de 128 dimensões com 1/8 do custo de armazenamento.
Otimização de Inferência: O sistema utiliza amostragem de balde adaptativa (adaptive bucket sampling), agrupando sequências de observação de comprimento variável nos menores baldes de comprimento fixo que caibam, preenchendo os resíduos via reamostragem de ponto médio. Isso evita o descarte de observações ou a duplicação arbitrária de dados.

Principais Resultados

Desempenho: O aluno destilado TESSERA v2-2B-L (44M de parâmetros) supera todos os produtos de embedding abertos e proprietários testados, incluindo o ALPHAEARTH (480M de parâmetros) e o OlmoEarth-L (308M de parâmetros).
- Em um conjunto de 14 conjuntos de dados mantidos fora (held-out), o TESSERA v2 alcançou um escore composto de 0,647, comparado a 0,614 dos sistemas seguintes.
- No conjunto ALPHAEARTH de 15 tarefas, pontuou 0,593, superando o ALPHAEARTH (0,560) e o TESSERA v1 (0,541).
Eficiência: O modelo aluno de 44M alcança resultados de estado da arte com um custo de inferência duas ordens de magnitude inferior ao professor de 2B e significativamente menor que os modelos proprietários maiores.
Adaptabilidade de Armazenamento: Os prefixos MATRYOSHKA permitem que os usuários troquem armazenamento por desempenho. O prefixo de 16 dimensões mantém ~92% do escore total com 1/8 do armazenamento, enquanto o prefixo de 32 dimensões mantém ~97%.
Redução de Artefatos: O TESSERA v2 reduz significamente o listramento ao longo da trilha (along-track striping) e as descontinuidades de costura de mosaico (tile-seam) visíveis no v1, mantendo a estabilidade interanual.

Significância e Alegações

O artigo afirma fornecer uma receita concreta e empiricamente fundamentada para escalar modelos de fundação de EO pixel a pixel, mudando o paradigma de "treinar grande e esperar que a perda correlacione" para "treinar grande, selecionar por desempenho de tarefa e destilar".

Redefinindo a Escala para EO: Os autores afirmam que as leis de escala de EO diferem fundamentalmente das de linguagem/visão; confiar na perda de pré-treinamento é ineficiente e enganoso. A regra de alocação proposta (aumentar codificador e dados, fixar projetor) é apresentada como o caminho ideal para EO.
Destilação como uma Necessidade para Embeddings Aninhados: O artigo afirma que embeddings aninhados (MATRYOSHKA) não podem ser efetivamente aprendidos via perdas de prefixo auto-supervisionadas devido a problemas de simetria de coordenadas. Em vez disso, a destilação contra um professor fixo é necessária para fornecer o sinal de ordenação que torna os prefixos utilizáveis em diferentes dimensionalidades.
Viabilidade do Produto: O TESSERA v2 é apresentado não apenas como um modelo, mas como uma família de produtos implantáveis que oferece adaptabilidade. Ele permite que os usuários selecionem tamanhos de modelo e dimensões de embedding que se ajustem aos seus restrições de orçamento específicas sem necessidade de retreinamento, abordando uma lacuna importante nos produtos de dados existentes "prontos para análise".

Os autores planejam lançar os embeddings anuais de 10m globais cobrindo 2017–2025 como a versão 2 do produto TESSERA, disponibilizando o código e os checkpoints para a comunidade.