🤖 machine learning

Test-Time Coverage: Test-Conditioned Data Curation for Deployment-Aware Learning

Este artigo introduz o TTCov, um método de curadoria de dados condicionado a testes que constrói um Atlas de Conhecimento a partir de amostras de implantação para selecionar dados de treinamento com cobertura otimizada e correspondência de distribuição, aumentando assim o desempenho da condução autônoma sem exigir atualizações do modelo no momento da inferência.

Autores originais: Nadine Chang, Maying Shen, Shizhe Diao, Jialiang Wang, Jingde Chen, Thomas Breuel, Pavlo Molchanov, Rafid Mahmood, Jose M. Alvarez

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nadine Chang, Maying Shen, Shizhe Diao, Jialiang Wang, Jingde Chen, Thomas Breuel, Pavlo Molchanov, Rafid Mahmood, Jose M. Alvarez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a dirigir um carro. Você tem uma biblioteca enorme de filmagens de vídeo de milhões de milhas percorridas — noites chuvosas em Boston, rodovias ensolaradas em Las Vegas, ruas movimentadas em Singapura. Se você tentasse alimentar o cérebro do robô com cada segundo dessas filmagens, levaria uma eternidade e custaria uma fortuna. Por isso, você precisa ser seletivo. Você precisa curar uma "dieta de treinamento" especial de vídeos que torne o robô inteligente o suficiente para lidar com o mundo real.

Por muito tempo, os cientistas escolhiam esses vídeos baseando-se no quão "diferentes" ou "interessantes" eles pareciam. Era como um chef escolhendo ingredientes apenas porque eram raros ou coloridos, sem verificar se eram realmente o que o cliente queria comer. O problema é que o mundo real é bagunçado e muda constantemente. Um robô treinado em vídeos genéricos "interessantes" pode ficar confuso ao encontrar uma situação específica e complicada que nunca viu antes. A grande questão neste canto da inteligência artificial é: Como escolhemos os dados de treinamento certos para que o robô esteja pronto para as estradas específicas em que realmente irá dirigir, sem precisar reaprender tudo toda vez que mudar para uma nova cidade?

É aqui que entra um novo método chamado TTCov (Test-Time Coverage, ou Cobertura de Tempo de Teste), e ele é como dar uma folha de cola para o robô antes mesmo do teste começar. Em vez de tentar consertar o cérebro do robô enquanto ele dirige (o que é lento e arriscado), o TTCov conserta o menu de treinamento antecipadamente.

Veja como funciona, usando uma analogia lúdica: Imagine que você está se preparando para um exame de direção em uma nova cidade. Em vez de apenas memorizar regras de trânsito aleatórias, você primeiro olha o mapa da cidade e a rota de teste específica que fará. Você percebe: "Ok, este teste tem muitas zonas escolares, estradas molhadas e pedestres atravessando à noite".

O TTCov faz exatamente isso, mas com a ajuda de um bibliotecário superinteligente (um Modelo de Linguagem de Grande Escala - LLM).

O Atlas (A Folha de Cola): Primeiro, o sistema constrói um "Atlas de Tarefas". Pense nisso como uma lista gigante e organizada de todas as coisas que poderiam acontecer na estrada, escritas em frases simples e atômicas como "Pedestre atravessa a rua" ou "Carro para no sinal vermelho". Ele começa com conhecimento geral, mas depois observa os vídeos de teste reais (os dados de "implantação") para adicionar quaisquer novos cenários estranhos que encontrar, como "Ônibus escolar para na frente de uma poça".
O K-Atlas (A Receita): Em seguida, ele conta com que frequência essas coisas específicas acontecem nos vídeos de teste. Se a rota de teste tem 50% de ônibus escolares e 10% de estradas chuvosas, o "Atlas de Conhecimento" (K-Atlas) torna-se uma receita que diz: "Sua dieta de treinamento deve ter 50% de vídeos de ônibus escolares e 10% de vídeos de estradas chuvosas".
A Seleção (A Ida ao Supermercado): Finalmente, o TTCov percorre o vasto conjunto de vídeos de treinamento disponíveis e escolhe o subconjunto perfeito que combine com essa receita. Ele usa um algoritmo ganancioso (um selecionador passo a passo) para agarrar vídeos que preencham as lacunas, garantindo que o conjunto de treinamento se pareça exatamente com o conjunto de teste em termos do que está acontecendo, não apenas no que ele parece.

O artigo testa esse método em direção autônoma, especificamente usando um conjunto de dados chamado Navhard, que é repleto de cenários de direção difíceis e complicados. Eles compararam o TTCov com outros métodos que apenas escolhem vídeos "diversos" ou "aleatórios". Os resultados sugerem que o TTCov é um divisor de águas. Quando treinaram um modelo de direção usando os dados selecionados pelo TTCov, o robô dirigiu significativamente melhor nas pistas de teste difíceis. Na verdade, com um orçamento específico de dados, o TTCov teve um desempenho quase tão bom quanto um conjunto de dados curado manualmente por humanos com conhecimento perfeito (um "oráculo"), e até superou esse conjunto de dados curado por humanos quando tiveram mais dados para trabalhar.

Uma das partes mais legais é como ele lida com a mudança para novas cidades. Se você levar o robô de Pittsburgh para Las Vegas, não precisa começar do zero. O TTCov apenas olha os vídeos de teste da nova cidade, atualiza sua "receita" (o K-Atlas) para incluir coisas específicas de Las Vegas (como o calor do deserto ou diferentes padrões de tráfego) e escolhe os melhores vídeos para adicionar à mistura. O robô aprende a nova cidade sem esquecer a antiga.

Os autores mostram que, ao combinar o conteúdo dos dados de treinamento com o conteúdo do teste no mundo real, você obtém um motorista muito mais seguro e capaz. Eles mediram isso usando uma pontuação chamada EPDMS, onde o TTCov pontuou consistentemente mais alto do que outros métodos em diferentes tamanhos de dados. Embora o método dependa de ter alguns dados de teste disponíveis antecipadamente (você não pode prever o futuro perfeitamente), o artigo sugere que essa abordagem de "curar para o teste" é uma maneira mais inteligente e eficiente de construir IA do que apenas jogar dados aleatórios nela. É um lembrete de que, na IA, às vezes o segredo para um cére better não é mais dados, mas sim os dados certos.

Resumo Técnico: Test-Time Coverage (TTCov)

Declaração do Problema

Sistemas de IA implantados, particularmente em domínios físicos críticos para a segurança, como a condução autónoma (AD), são tipicamente treinados em amplos conjuntos de dados candidatos. Os métodos padrão de curadoria de dados selecionam subconjuntos de treinamento com base em critérios do lado do treinamento (ex: diversidade, incerteza, redundância) em vez de otimizar diretamente para a distribuição de teste de implantação. Isso cria um potencial descompasso onde os dados de treinamento curados não refletem as condições específicas que o modelo encontrará no mundo real.

Embora técnicas de aprendizado transdutivo e adaptação em tempo de teste (TTA) tentem preencher essa lacuna utilizando dados de teste não rotulados para atualizar os pesos do modelo durante a inferência, essas abordagens introduzem latência significativa na inferência e complicam a validação do modelo em cenários de segurança crítica em tempo real. Além disso, elas escalam mal com o volume de implantação, pois exigem o ajuste do modelo por amostra. O artigo propõe a necessidade de um método que adapte a distribuição de treinamento antes do início do treinamento, aproveitando informações do lado do teste sem modificar os pesos do modelo durante a inferência.

Metodologia: TTCov

Os autores introduzem o TTCov (Test-Time Coverage), um framework de curadoria condicionado ao teste ao nível dos dados. Em vez de atualizar os pesos do modelo, o TTCov cura um conjunto de dados de treinamento que se alinha com a distribuição de implantação, decompondo o problema em dois componentes: Cobertura (qual conteúdo relevante para a implantação incluir) e Distribuição (com que frequência esse conteúdo deve aparecer).

1. O Atlas (Representação de Cobertura)

Para representar a cobertura, o TTCov constrói um Atlas de Tarefas interpretável, uma coleção de Proposições Atômicas (APs) que descrevem conceitos relevantes para a implantação (cenários, agentes, condições, comportamentos).

Semeadura (Seeding): O Atlas é inicialmente semeado com conhecimento de tarefas de mundo aberto gerado por Grandes Modelos de Linguagem (LLMs) para formar uma ontologia estruturada de condições de condução.
Expansão: O Atlas é expandido usando dados de implantação não rotulados (ex: logs de condução). Um Modelo de Linguagem Multimodal (MLLM) extrai legendas densas de vídeos de teste, que são então convertidas em APs.
Unificação: Um processo de três estágios refina essas APs:
1. Destilação: Descrições complexas são convertidas em sentenças declarativas de cláusula única.
2. Conversão de Proposição: As sentenças são transformadas em unidades atômicas de sujeito-verbo-objeto (SVO) ou sujeito-atributo.
3. Filtragem de Nuisance (Ruído): Modificadores não essenciais (cores, tamanhos específicos, nomes de marcas, nomes de ruas específicos) são removidos para garantir que as APs capturem conceitos generalizáveis (ex: "pedestre atravessa faixa de pedestres" em vez de "pedestre de camisa vermelha atravessa a Broadway").
4. Deduplicação: Frases semanticamente similares são agrupadas e unificadas usando verificação de LLM para garantir um vocabulário consistente.

2. O K-Atlas (Representação de Distribuição)

Para representar a distribuição, o TTCov instancia as APs de implantação correspondentes com suas frequências, criando um Atlas de Conhecimento (K-Atlas).

O K-Atlas é um vetor de distribuição alvo $p^\star$ , onde cada elemento representa a frequência de importância de uma AP específica no conjunto de teste de implantação.
Isso operacionaliza a distribuição de implantação como um alvo concreto de curadoria.

3. Otimização de Seleção Gananciosa (Greedy Selection)

O objetivo é selecionar um subconjunto de treinamento com orçamento $S$ (tamanho $B$ ) de um pool candidato $C$ tal que a distribuição de AP do subconjunto $\hat{p}_S$ minimize a divergência de Kullback-Leibler (KL) em relação ao K-Atlas alvo $p^\star$ :
$S^\star := \arg \min_{S \subset C, |S|=B} D_{KL}(p^\star \parallel \hat{p}_S)$
Como este é um problema de otimização combinatória, o TTCov emprega um algoritmo iterativo ganancioso (Algoritmo 1). Em cada etapa, ele seleciona a amostra do pool candidato restante que reduz maximamente o gap de KL atual entre o subconjunto acumulado e a distribuição alvo.

Principais Contribuições

Framework TTCov: Um método de curadoria condicionado ao teste ao nível dos dados que adapta o conjunto de dados de treinamento à distribuição de implantação não rotulada antes do treinamento do modelo, evitando a latência e a complexidade da adaptação de modelo online.
Atlas e K-Atlas: A introdução de uma representação de cobertura interpretável (Atlas) e uma distribuição alvo ponderada por frequência (K-Atlas) especificamente projetadas para curadoria condicionada à implantação.
Formulação de Otimização: Formular a curadoria de dados como um problema de correspondência de K-Atlas com orçamento e resolvê-lo via um procedimento de seleção gananciosa sobre amostras candidatas.
Evolução Monotônica do Atlas: Um mecanismo para adaptar-se a mudanças nas condições de implantação (ex: expansão de cidade para cidade) atualizando o K-Atlas para novos domínios enquanto retém dados previamente selecionados, evitando o esquecimento catastrófico.
Validação Empírica: Avaliação abrangente usando métricas de cobertura, correspondência de distribuição e desempenho de ponta a ponta (E2E) de condução autónoma contra baselines de última geração.

Resultados Experimentais

Os autores avaliaram o TTCov no benchmark Navhard (um subconjunto desafiador do framework NAVSIM) usando o planejador Latent Transfuser (LTF).

Desempenho: O TTCov superou consistentemente os baselines, incluindo Coreset (baseado em diversidade) e SSE (seleção semântica), através de vários orçamentos de dados (0.5x a 1.5x o baseline).
- Com um orçamento de 1x, o TTCov alcançou paridade de desempenho com o oracle Navtrain manualmente curado (24.42 vs 24.70 EPDMS) sem exigir anotação humana.
- Em orçamentos que excedem o tamanho do oracle, o TTCov superou tanto o oracle quanto todos os outros baselines (26.40 EPDMS a 1.5x).
Correspondência de Distribuição: O TTCov alcançou a menor divergência KL para o alvo K-Atlas em comparação com todos os baselines, demonstrando um alinhamento superior entre os dados de treinamento selecionados e a distribuição de teste.
Adaptação Cidade-para-Cidade: Em um experimento de expansão de domínio de múltiplas rodadas (adicionando cidades sequencialmente), o TTCov superou significativamente os baselines tanto na nova cidade alvo quanto na cidade original, provando sua capacidade de se adaptar a novos domínios sem recuriar dados para cidades anteriores ou sofrer de esquecimento catastrófico.
Cobertura: O TTCov selecionou um volume significativamente maior de pontos de treinamento com embeddings próximos à distribuição de teste (medido por distância de Vizinho Mais Próximo e MMD) em comparação com Coreset e SSE.

Significância e Alegações

O artigo afirma que o TTCov representa uma mudança do reparo reativo de modelos para o desenvolvimento de IA proativo e orientado pelo teste. Ao aproveitar um Atlas interpretável de proposições atômicas, o TTCov permite:

Curadoria Consciente de Segurança: A capacidade de visar explicitamente cenários críticos de segurança e raros (ex: pedestres, ônibus escolares, interações específicas com semáforos) que são frequentemente perdidos por métricas de diversidade genéricas.
Escalabilidade: O framework escala para condições de implantação em evolução (ex: novas cidades) sem o overhead computacional de adaptação de modelo por amostra.
Interpretabilidade: O uso de proposições atômicas fornece uma visão transparente do que os conceitos de dados de treinamento cobrem, oferecendo insights sobre os potenciais modos de falha do modelo.

Os autores observam que, embora o TTCov esteja vinculado à existência de um conjunto de teste e ao teto de conhecimento dos LLMs subjacentes, ele oferece um caminho robusto e escalável para alinhar os dados de treinamento com as distribuições de implantação do mundo real em sistemas de IA física.