Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems

1. O Problema

O desenvolvimento de modelos de inteligência artificial física (como carros autônomos) depende de grandes volumes de dados de treinamento diversos. No entanto, treinar modelos em todos os dados coletados (que podem chegar a centenas de milhões de horas de vídeo) é computacionalmente ineficiente.

O desafio central identificado pelos autores é a seleção de mistura de dados (data mixture selection) em cenários com métricas concorrentes. Especificamente:

• Múltiplas Métricas: Sistemas de direção autônoma são avaliados por um conjunto de métricas que podem competir entre si (ex: conformidade com regras de trânsito vs. conforto vs. eficiência).
• Heterogeneidade e Ambiguidade: Diferentes amostras de dados influenciam diferentes combinações de métricas em taxas distintas. Um trecho de vídeo de uma estrada curva pode melhorar a manutenção de faixa, mas piorar o conforto.
• Limitações Atuais: Métodos existentes de seleção de dados ou otimização de mistura geralmente assumem domínios bem definidos e homogêneos, ignorando as taxas de melhoria heterogêneas e dependentes de métricas que surgem quando fontes de dados afetam diferentes aspectos do desempenho.

2. Metodologia: MOSAIC

Os autores propõem o MOSAIC (Mixture Optimization via Scaling-Aware Iterative Collection), um framework geral de seleção de dados que opera em três etapas principais para otimizar a mistura de dados sob um orçamento limitado:

A. Agrupamento e Classificação (Clustering & Ranking)

• Agrupamento: O conjunto de dados pool ($D_{pool}$) é dividido em $M$ domínios (clusters) distintos que capturam contextos de direção diferentes (ex: baseados em geolocalização ou legendas descritivas). O objetivo é isolar subconjuntos de dados que têm influências semelhantes nas métricas.
• Classificação: Dentro de cada cluster, as amostras são classificadas por uma pontuação de importância ($I(x)$). A importância é definida pela melhoria que a amostra traz para a função de utilidade global quando adicionada ao conjunto de treinamento atual. Amostras de maior impacto são priorizadas.

B. Estimação de Leis de Escala (Scaling Laws)

• O framework ajusta leis de escala para cada cluster em relação à função de utilidade total ($U$).
• Utiliza uma lei de escala exponencial saturável: $\Delta U_i(n) \approx a_i(1 - e^{-n/\tau_i})$.
  • $a_i$: Representa a melhoria assintótica máxima possível a partir daquele domínio.
  • $\tau_i$: Governa a taxa de saturação (quão rápido o benefício marginal diminui).
• Esses parâmetros são estimados através de "pilot runs" (treinamentos preliminares de pequena escala) para prever como o desempenho evolui à medida que mais dados de um cluster específico são adicionados.

C. Coleta Iterativa Consciente de Escala

• O problema de otimização é reformulado para maximizar o ganho total de utilidade dado um orçamento de amostras $B$.
• Em vez de calcular a mistura ideal de uma vez, o algoritmo adiciona dados iterativamente, amostra por amostra.
• Em cada iteração, o algoritmo calcula o ganho marginal ($\delta_i$) de adicionar uma nova amostra de cada cluster, baseado nas leis de escala ajustadas.
• A amostra é selecionada do cluster que oferece o maior ganho marginal esperado naquele momento. Isso permite que o sistema dinamicamente alterne entre domínios conforme as taxas de retorno diminuem (ex: começa com cidades que dão ganhos rápidos e, quando saturam, muda para cidades que oferecem ganhos mais estáveis a longo prazo).

3. Contribuições Principais

1. Framework MOSAIC: Uma pipeline genérica de otimização de mistura de dados que combina clustering, ranking e modelagem de leis de escala para lidar com métricas concorrentes.
2. Aplicação em Direção Autônoma (E2E): Aplicação bem-sucedida em modelos de planejamento de ponta a ponta (usando o modelo Hydra-MDP), otimizando a pontuação agregada EPDMS (Extended Predictive Driver Model Score), que combina 9 métricas de conformidade com regras.
3. Eficiência de Dados: Demonstração de que é possível atingir desempenho superior com até 82% menos dados de treinamento em comparação com seleção aleatória e outros baselines.
4. Validação de Robustez: Evidência empírica de que a combinação de clustering e leis de escala é superior a estratégias que usam apenas clustering ou apenas ranking, e que o método é robusto a diferentes métodos de agrupamento (geolocalização vs. legendas semânticas).

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados OpenScene e Navtrain, utilizando o modelo vencedor do desafio NAVSIM 2024 (Hydra-MDP).

• Desempenho Geral: O MOSAIC superou consistentemente todos os baselines (Seleção Aleatória, Incerteza, Coreset, Chameleon) em todos os orçamentos de dados testados.
• Eficiência (BRMR): O MOSAIC alcançou o mesmo desempenho que a seleção aleatória usando apenas 15% a 40% dos dados necessários (BRMR < 0.4). Em alguns casos, atingiu o desempenho máximo de treinamento completo com 42% menos amostras.
• Análise por Métrica: O método não apenas melhorou a pontuação geral, mas equilibrou melhor as métricas individuais. Por exemplo, em OpenScene, o MOSAIC obteve o maior ganho na métrica DAC (conformidade de direção), que era um ponto fraco do modelo base, enquanto mantinha ganhos equilibrados em outras métricas.
• Dinâmica de Seleção: As curvas de escala mostraram que diferentes cidades (domínios) saturam em taxas diferentes. O MOSAIC identificou corretamente quando parar de coletar dados de um domínio (ex: Las Vegas saturou cedo) e começou a priorizar outros (ex: Pittsburgh) para maximizar o ganho total.
• Ablação:
  • Remover o clustering degradou o desempenho em orçamentos maiores.
  • Remover o ranking (seleção aleatória dentro do cluster) também reduziu a eficiência, mostrando que a qualidade da amostra dentro do domínio é crucial.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma para a seleção de dados em sistemas de IA física complexos. Ao invés de tratar a seleção de dados como um problema estático ou puramente baseado em diversidade, o MOSAIC introduz uma abordagem dinâmica e preditiva.

• Importância Prática: Para a indústria de direção autônoma, onde a coleta e anotação de dados são extremamente caras, o MOSAIC oferece um caminho para reduzir custos computacionais e financeiros, permitindo treinar modelos de alto desempenho com menos dados.
• Generalização: A abordagem de usar leis de escala para guiar a seleção iterativa pode ser aplicada a outros domínios de IA física ou sistemas multimodais onde múltiplas métricas de desempenho precisam ser otimizadas simultaneamente sob restrições de orçamento.

Em resumo, o MOSAIC demonstra que entender como e quando diferentes tipos de dados contribuem para o desempenho do modelo (através de leis de escala) é fundamental para construir sistemas de IA mais eficientes e robustos.