Resumo Técnico: Dirigindo pelo Caminho Errado: Alavancando a Interpretabilidade em Modelos de Direção Autônoma End-to-End

Declaração do Problema

A crescente adoção de aprendizado end-to-end (E2E) para direção autônoma levou a um desempenho de estado da arte em benchmarks como o NAVSIM. No entanto, essa unificação arquitetural de percepção, predição e planejamento em modelos unificados baseados em transformers resulta em aumento de complexidade e opacidade. Diferente dos pipelines modulares, os modelos E2E carecem de interfaces claras para testes em nível de módulo, tornando o processo de tomada de decisão interna difícil de analisar. Essa opacidade complica a identificação de modos de falha, levando a ciclos de depuração dispendiosos impulsionados por "suposições fundamentadas" em vez de análise sistemática. Especificamente, a área carece de soluções generalizáveis para descrever holisticamente o comportamento do modelo, descobrir aprendizado errôneo (como correlações espúrias) e oferecer insights abrangentes sobre modos de falha sem comprometer a capacidade representacional do modelo.

Metodologia

Os autores propõem um framework estruturado de múltiplas etapas que integra o aprendizado de dicionário não supervisionado via Sparse Autoencoders (SAEs) como um módulo de interpretabilidade post-hoc em modelos de direção E2E de estado da arte (especificamente GTRS e iPAD). O framework opera através das seguintes etapas:

1. Seleção do Espaço Latente: O SAE é injetado no espaço de representação latente imediatamente anterior ao módulo de pontuação (scoring). Este local é escolhido porque contém um resumo denso da compreensão da cena e informa diretamente a pontuação da trajetória, permitindo um vínculo entre as características extraídas e os outputs do modelo.
2. Desentrelaçamento de Direções de Características: Um SAE é treinado nas representações latentes do modelo congelado para decompor ativações entrelaçadas em características esparsas e monossêmicas (conceitos). O treinamento minimiza a perda de reconstrução enquanto impõe esparsidade via funções de ativação top-$k$. Para evitar "neurônios mortos", um termo de reanimação é adicionado à função de perda. Os autores avaliam várias arquiteturas de SAE (TopK, Matryoshka, Archetypal) e descobrem que variantes TopK com tamanhos latentes moderados (ex: 256 neurônios) oferecem o melhor equilíbrio entre fidelidade de reconstrução, desentrelaçamento de características e prevenção de memorização de cenários.
3. Atribuição Semântica: Os autores atribuem significado compreensível por humanos aos neurônios do SAE usando três estratégias:
   • Maximização de Ativação/Atribuição: Identificar amostras de datasets de referência que maximizam a ativação de um neurônio específico ou de um score de atribuição.
   • Agrupamento de Neurônios (Clustering): Agrupar neurônios com comportamentos de ativação semelhantes para identificar conceitos semânticos compartilhados (ex: "carro à frente", "interseção").
   • Propagação de Relevância de Conceito (CRP): Usar métodos baseados em LRP para rastrear a relevância desde o score da trajetória de volta ao espaço de entrada (imagens de câmera e status do ego) através do SAE, gerando mapas de atribuição que visualizam quais características de entrada impulsionam ativações de neurônios específicos.
4. Descoberta de Circuitos: O framework emprega análise de circuitos para mapear relações causais entre neurônios do SAE e outputs específicos do modelo (sub-scores do PDM). Isso envolve um pipeline de quatro estágios:
   • Patching de Atribuição: Estimar a influência causal via diferenças de ativação ponderadas por gradiente.
   • Patching de Ativação: Realizar intervenções causais exatas ao aplicar o patch de neurônios para sua média do dataset.
   • Poda ACDC: Esparsificar a matriz de influência para reter apenas arestas significativas.
   • Especificidade de Neurônio: Quantificar quão específico um neurônio é para uma determinada cabeça de predição usando o coeficiente de Gini.
5. Intervenção Direcionada: Com base nos circuitos causais identificados, os autores realizam intervenções direcionadas zerando (ablando) as ativações de neurônios específicos do SAE associados a comportamentos errôneos. Isso permite a manipulação das decisões de direção durante a inferência sem a necessidade de retreinar o modelo.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Framework de Interpretabilidade Estruturado: Apresenta o primeiro método estruturado para interpretar decisões de direção E2E, fornecendo explicações de nível de conceito para a pontuação de trajetórias individuais candidatas.
2. Decomposição Baseada em Conceitos: Introduz uma decomposição de representações latentes que identifica os fatores mais influentes em cenários de direção, permitindo a atribuição refinada das decisões do modelo.
3. Correspondência Direta: Estabelece um vínculo direto entre conceitos aprendidos e scores de qualidade previstos (sub-scores do PDM), revelando quais conceitos influenciam comportamentos específicos como evasão de colisão, conformidade com semáforos e progresso.
4. Adaptação Direcionada: Demonstra que conceitos identificados podem ser alavancados para manipular a inferência do modelo em tempo de teste, permitindo melhorias no desempenho downstream sem a necessidade de retreinamento custoso ou curadoria de datasets.

Resultados

Os autores avaliaram sua abordagem nos modelos GTRS e iPAD utilizando o dataset NAVSIM:

• Desempenho do SAE: SAEs TopK com 256 neurônios alcançaram alta fidelidade de reconstrução (Similaridade de Cosseno: 0,9975, Variância Explicada: 0,9951) e forte alinhamento com características de status do ego (Correlação do Ego: 0,8454), superando os SAEs Archetypal que tendiam a sofrer overfitting para correlações específicas de cenários.
• Descoberta de Conceitos: O framework identificou com sucesso clusters semanticamente significativos, como neurônios correspondentes a "carros à frente", "marcações de faixa" e "interseções". A análise de circuitos revelou que, embora os neurônios de "carro à frente" influenciem todas as cabeças de pontuação, sua influência específica varia; por exemplo, eles se correlacionam com a conformidade de semáforos devido à coocorrência de dados (carros parando em semáforos) em vez de raciocínio causal.
• Impacto da Intervenção: Ao ablar três neurônios específicos (177, 59, 71) identificados como tendo influências negativas ou espúrias, os autores alcançaram uma melhoria mensurável no Extended Predictive Driver Model Score (EPDMS).
  • O modelo manipulado melhorou o EPDMS de 0,4963 (com o SAE não modificado) para 0,5926.
  • Este score superou o modelo baseline original sem o SAE (0,524).
  • Melhorias significativas foram observadas na conformidade com a área de direção (+0,1298) e na conformidade de direção de condução (+0,0702).
  • A intervenção resultou em um comportamento de direção mais conservador, trocando progresso rápido por maior segurança, como evidenciado por uma diminuição no score de progresso do ego (-0,1000).

Significância e Alegações

O artigo afirma que a interpretabilidade não é meramente uma ferramenta analítica, mas um mecanismo de mitigação direcionada e melhoria de desempenho. Ao decompor o espaço latente opaco em conceitos semanticamente significativos, os autores demonstram que:

• Redução de Opacidade: A interpretabilidade pode efetivamente descobrir comportamentos errôneos e correlações espúrias (ex: associar um carro à frente com a conformidade de semáforo) que modelos E2E padrão aprendem.
• Compreensão Causal: O framework distingue entre artefatos correlacionais e componentes funcionalmente relevantes, permitindo o isolamento da lógica de decisão específica.
• Ganho de Desempenho: Intervenções direcionadas no nível de conceito podem corrigir o comportamento do modelo e melhorar métricas de direção sem retreinar. Os autores argumentam que esta abordagem oferece um caminho para sistemas de direção autônoma mais transparentes, confiáveis e controláveis, abordando o desafio crítico de validação de modelos e análise de erros no campo.

Os autores mantêm a modéstia quanto ao escopo, reconhecendo que, embora o framework forneça uma base para análise baseada em conceitos, compreender totalmente os conceitos semânticos e suas complexas interações no processo de tomada de decisão continua sendo um problema de pesquisa aberto.