SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving

O artigo propõe o SToRM, um novo framework de redução supervisionada de tokens para modelos de linguagem multimodal que otimiza a condução autônoma de ponta a ponta ao reduzir drasticamente o custo computacional sem comprometer o desempenho.

O essencial

Imagine que você está dirigindo um carro autônomo. Para tomar decisões seguras, o carro precisa "olhar" para a estrada através de várias câmeras e sensores. O problema é que esses sensores geram uma quantidade enorme de informações (imagens, pontos de nuvem, etc.) a cada segundo.

Pense nessas informações como uma pilha gigantesca de fotos tiradas em alta velocidade. Se você tentar analisar cada detalhe de cada foto com um cérebro superinteligente (uma Inteligência Artificial chamada MLLM), o sistema fica sobrecarregado. É como tentar ler um livro inteiro de uma só vez em um piscar de olhos: o carro fica lento, e em uma situação de emergência, essa lentidão pode ser fatal.

Aqui entra o SToRM (o método proposto neste artigo). Vamos explicar como ele funciona usando analogias do dia a dia:

1. O Problema: O "Excesso de Bagagem"

Os carros autônomos atuais usam modelos de linguagem grandes (como um cérebro humano muito inteligente) para entender não só a imagem, mas também instruções em voz ("vire à esquerda", "cuidado com o pedestre").

• O Desafio: Para processar todas as imagens dos sensores, o cérebro do carro precisa ler milhares de "pedaços" de imagem (chamados tokens). Isso consome muita energia e deixa o carro lento.
• A Solução antiga: Alguns tentavam apenas jogar fora algumas fotos aleatórias ou agrupar fotos parecidas. O problema é que, ao fazer isso sem cuidado, o carro podia esquecer de ver um pedestre ou uma placa de pare, tornando a direção menos segura.

2. A Solução do STORM: O "Gerente de Bagagem Inteligente"

O SToRM é como um gerente de bagagem superinteligente que trabalha dentro do cérebro do carro. Em vez de jogar as fotos fora aleatoriamente, ele decide o que é essencial e o que pode ser simplificado, sem perder a segurança.

Ele faz isso em três passos mágicos:

Passo 1: O "Detetive de Importância" (Preditor de Importância)

Imagine que você está em uma sala cheia de pessoas conversando. Você não precisa ouvir cada palavra de cada pessoa para entender o que está acontecendo. Você foca nas pessoas que estão gritando, apontando ou que parecem estar em perigo.

• O SToRM tem um "detetive" rápido e leve que olha para todas as imagens e diz: "Olha, essa parte da imagem (o pedestre) é muito importante. Aquela parte (a sombra na parede) é menos importante."
• Ele faz isso olhando apenas para o "agora" e o "quase agora" (janelas de tempo curtas), o que é muito mais rápido do que analisar a história inteira do carro.

Passo 2: O "Sistema de Âncoras e Contexto" (Módulo ACM)

Aqui está a parte mais criativa. O sistema divide as informações em dois grupos:

• Âncoras (As Estrelas): São as partes mais importantes da imagem (o pedestre, o carro à frente, a placa). Elas são mantidas intactas.
• Contexto (A Multidão): São os detalhes menos críticos (o céu, a textura do asfalto, sombras).
• A Mágica: Em vez de manter todos os detalhes do "Contexto" separados, o SToRM os fundiu nas "Âncoras".
  • Analogia: Imagine que você tem uma foto de um grupo de amigos. Em vez de guardar 100 fotos separadas de cada rosto, você pega a foto principal (a Âncora) e escreve nela pequenas anotações sobre os outros (o Contexto). Você ainda tem a informação de todos, mas ocupa muito menos espaço no seu álbum.

Passo 3: O "Treinamento com Espelho" (Supervisão Pseudo)

Como o computador sabe o que é importante?

• Normalmente, se você tenta simplificar algo, ele pode ficar "burro".
• O SToRM usa um truque de treinamento: ele deixa o cérebro "cheio" (com todas as fotos) analisar a situação e ver o que ele prestou mais atenção. Depois, ele usa essa atenção como um espelho para ensinar o "detetive" a fazer o mesmo, mas de forma rápida e leve. É como se um professor (o cérebro cheio) mostrasse ao aluno (o sistema leve) onde olhar, para que o aluno aprenda a ser eficiente sem precisar do professor o tempo todo.

3. O Resultado Final: Velocidade e Segurança

O que isso significa na prática?

• Velocidade: O carro consegue processar as informações 30 vezes mais rápido. Isso permite que ele dirija em tempo real, mesmo em computadores comuns, sem travar.
• Segurança: Ao contrário de métodos antigos que jogavam informações fora e perdiam precisão, o SToRM mantém o desempenho de direção igual ao de um sistema que usa todas as informações. Ele não perde o pedestre; ele apenas o vê de forma mais eficiente.

Resumo em uma frase

O SToRM é um sistema que ensina o carro autônomo a ser um "especialista em priorização": ele ignora o ruído, foca no que importa e funde os detalhes extras nas informações principais, permitindo que o carro dirija de forma segura e super-rápida, como um piloto de F1 que sabe exatamente onde olhar na pista.

Resumo técnico

Título: SToRM: Redução Supervisionada de Tokens para LLMs Multimodais visando Condução Autônoma End-to-End Eficiente

1. O Problema

Os sistemas de condução autônoma end-to-end (E2E) que preveem comandos de controle diretamente a partir de dados de sensores têm avançado significativamente. No entanto, para lidar com cenários imprevistos e garantir segurança, a integração de instruções em linguagem natural (interação humano-veículo) é crucial. O uso de Modelos de Linguagem Multimodais (MLLMs) facilita essa interação, mas apresenta desafios críticos:

• Custo Computacional Excessivo: MLLMs dependem de um grande número de tokens visuais gerados a partir de entradas de sensores (câmeras, LiDAR) ao longo de múltiplos quadros temporais.
• Complexidade Quadrática: A arquitetura dos LLMs (baseada em mecanismos de atenção) tem complexidade computacional que cresce quadraticamente com o comprimento da entrada. Processar todos os tokens visuais torna a inferência lenta, inviabilizando a operação em tempo real em veículos com recursos limitados.
• Compromisso Desempenho-Eficiência: Métodos anteriores de redução de tokens (como Q-Former ou métodos baseados em heurísticas de similaridade) reduzem o custo computacional, mas frequentemente resultam em degradação significativa no desempenho da tarefa de condução, pois perdem informações visuais críticas.

2. Metodologia: Framework SToRM

O artigo propõe o SToRM (Supervised Token Reduction for Multi-modal LLMs), o primeiro framework de redução de tokens supervisionada para MLLMs em condução E2E. A ideia central é utilizar resultados intermediários de um MLLM (especificamente, pontuações de atenção derivadas de todos os tokens) como sinais de pseudo-supervisão para treinar um preditor de importância, permitindo a redução de tokens sem perda de desempenho.

O framework consiste em três componentes principais:

A. Preditor de Importância Leve (Lightweight Importance Predictor)

• Objetivo: Prever pontuações de importância para cada token visual com baixo custo computacional.
• Arquitetura: Baseado em uma nova arquitetura de bloco MLP-Mixer com janelas deslizantes temporais.
• Mecanismo:
  • Em vez de processar todas as dependências de longo alcance (o que seria custoso), o modelo foca em relações espaço-temporais de curto prazo usando janelas deslizantes.
  • Realiza "mistura" (mixing) de tokens visuais dentro da janela temporal e também mistura de canais (cross-channel dependencies) dentro do próprio token.
  • Isso reduz drasticamente a complexidade computacional e de memória em comparação com Transformers tradicionais aplicados a sequências longas.

B. Módulo de Mesclagem Âncora-Contexto (Anchor-Context Merging - ACM)

• Objetivo: Reduzir o número de tokens visuais mantendo a informação essencial.
• Funcionamento:
  1. Categorização: Os tokens visuais são classificados em "Âncoras" (os $K$ tokens com maior pontuação de importância, contendo evidências visuais críticas) e "Contexto" (os tokens restantes, contendo informações complementares).
  2. Mesclagem: Cada token de "contexto" é mesclado em seu "âncora" mais relevante.
  3. Atribuição Rígida (Hard Assignment): Utiliza o operador Gumbel-Softmax para criar uma matriz de atribuição aproximadamente one-hot, garantindo que cada token de contexto seja atribuído a uma única âncora.
  4. Resíduo: A representação final da âncora é atualizada somando a informação agregada dos tokens de contexto atribuídos, preservando o sinal original e as informações complementares.

C. Caminho Auxiliar para Treinamento (Auxiliary Path)

• Para treinar o preditor de importância, o sistema utiliza um caminho auxiliar que processa todos os tokens visuais (sem redução) através do LLM congelado.
• As pontuações de atenção do último decodificador do LLM são usadas como sinais de pseudo-supervisão. A premissa é que tokens que recebem mais atenção do LLM são mais importantes para a tarefa.
• O preditor de importância é treinado para imitar essas pontuações de atenção, minimizando a distância entre a previsão e o sinal pseudo-supervisionado.

D. Treinamento End-to-End
O modelo é treinado com uma função de perda composta por:

1. Perda de Pontuação ($L_{score}$): Diferença entre as pontuações preditas e as pseudo-supervisionadas.
2. Perda de Waypoints ($L_{wp}$): Diferença entre os waypoints futuros previstos e os ground truth.

3. Principais Contribuições

1. Primeiro Framework Supervisionado: Propõe o SToRM, que utiliza sinais de supervisão baseados na tarefa (pseudo-atenção) para guiar a redução de tokens, superando métodos heurísticos.
2. Preditor Eficiente: Desenvolve um preditor de importância baseado em MLP-Mixer com janelas deslizantes, capturando dependências espaço-temporais locais com complexidade linear em relação à sequência, ao invés de quadrática.
3. Mecanismo de Mesclagem ACM: Introduz uma estratégia de mesclagem "rígida" (hard merging) que agrupa tokens de contexto em âncoras relevantes, reduzindo redundância sem perder informações críticas.
4. Desempenho e Eficiência: Demonstra que é possível manter o desempenho de condução equivalente ao uso de todos os tokens, mas com uma redução drástica no custo computacional.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark LangAuto (simulador CARLA), comparando o SToRM com o estado da arte (LMDrive) e outros métodos de redução de tokens.

• Desempenho de Condução: O SToRM superou o modelo SOTA (LMDrive com Q-Former) em todas as métricas (Driving Score, Route Completion, Infraction Score) sob o mesmo orçamento de tokens (120 tokens).
  • Exemplo: Com o backbone LLaVA (7B), o SToRM atingiu um Driving Score de 44.2 vs. 36.2 do LMDrive.
• Eficiência Computacional:
  • Redução de 30x no custo de FLOPs (operações de ponto flutuante) em comparação com o uso de todos os tokens (All-token LMDrive).
  • Redução de 16.6x com backbones menores (TinyLLaVA).
  • Permite inferência em tempo real (>25 FPS) em GPUs padrão (NVIDIA RTX 4090), algo difícil de alcançar com todos os tokens.
• Comparação com Outros Métodos: O SToRM superou consistentemente métodos baseados em heurísticas (ToMe, VisionZip, DivPrune, etc.), confirmando que a supervisão baseada na tarefa é superior à seleção baseada apenas em similaridade.
• Avaliação de Arquitetura: A ablação mostrou que o preditor baseado em MLP-Mixer com janelas deslizantes é mais eficiente computacionalmente do que alternativas baseadas em Transformer, sem sacrificar a precisão.

5. Significado e Impacto

O trabalho SToRM é significativo porque resolve o gargalo fundamental da aplicação de MLLMs em veículos autônomos: a tensão entre a necessidade de raciocínio complexo (via linguagem e visão) e as restrições de hardware em tempo real.

• Viabilidade Prática: Torna possível a execução de sistemas de condução E2E baseados em LLMs em hardware de bordo padrão, eliminando a necessidade de supercomputadores externos.
• Segurança: Ao manter o desempenho de condução equivalente ao uso de todos os dados, garante que a redução de tokens não comprometa a segurança em cenários críticos.
• Interação Humana: Facilita a integração segura de instruções de linguagem natural em sistemas autônomos, permitindo que o veículo reaja melhor a situações imprevistas com intervenção humana.

Em resumo, o SToRM estabelece um novo padrão para a eficiência em MLLMs aplicados à condução autônoma, provando que a redução inteligente e supervisionada de dados pode ser feita sem sacrificar a inteligência do sistema.