Foundation Models for Autonomous Driving System: An Initial Roadmap

Resumo Técnico: Modelos de Fundação para Sistemas de Condução Autónoma

1. Problema e Motivação

Os Sistemas de Condução Autónoma (ADS) operam em ambientes abertos, dinâmicos e críticos para a segurança. As abordagens tradicionais, baseadas em regras pré-definidas e aprendizagem supervisionada em conjuntos de dados limitados, enfrentam dificuldades significativas em lidar com situações não vistas, obstáculos inesperados e interações complexas do mundo real (o problema da "cauda longa").

A emergência de Modelos de Fundação (FMs), incluindo Grandes Modelos de Linguagem (LLMs), Modelos Visão-Linguagem (VLMs) e Modelos de Mundo, oferece capacidades sem precedentes de raciocínio e generalização. No entanto, a integração destes modelos em ADS levanta desafios de engenharia de software substanciais. Os FMs são complexos, dependem massivamente de dados e introduzem riscos críticos como alucinações (geração de informações incorretas), viés algorítmico, problemas de privacidade e vulnerabilidades de segurança. O artigo identifica a falta de um roteiro estruturado que aborde a integração de FMs não apenas do ponto de vista algorítmico, mas através de uma lente de engenharia de sistemas e software.

2. Metodologia

Os autores realizaram uma revisão de literatura estruturada para mapear o estado da arte e identificar lacunas de investigação.

• Escopo: O estudo cobre o período de janeiro de 2020 a janeiro de 2026, focando na adoção de LLMs, VLMs e Modelos de Mundo em tarefas de condução autónoma.
• Base de Dados: A pesquisa foi conduzida no DBLP, utilizando strings de busca otimizadas que combinam termos de modelos de fundação com termos de condução autónoma.
• Critérios de Seleção: Foram incluídos trabalhos que propõem ou avaliam FMs para ADS, introduzem datasets/benchmarks, ou discutem questões de implantação e sistema (latência, segurança). Artigos de pré-impressão de laboratórios industriais líderes foram incluídos se documentassem sistemas influentes.
• Estrutura de Análise: O roteiro proposto organiza a integração de FMs em três dimensões interligadas:
  1. Infraestrutura de FM: Dados, recursos computacionais e ferramentas de desenvolvimento.
  2. Integração no Veículo: Como os FMs são incorporados nos módulos do ADS (perceção, planeamento, controlo).
  3. Implantação Prática: Casos de uso reais, alinhamento ético e geração de código.

3. Contribuições Principais

O artigo oferece um roteiro abrangente e estruturado, destacando os seguintes pontos:

• Roteiro Tridimensional: Propõe uma visão holística que conecta decisões de infraestrutura (ex: seleção de dados) a riscos no veículo (ex: alucinações) e falhas na prática (ex: acidentes).
• Análise de Desafios e Oportunidades: Para cada dimensão, o artigo detalha desafios específicos e propõe oportunidades de investigação:
  • Infraestrutura: Foca na limpeza de dados (mitigação de viés, privacidade), licenciamento de datasets, e a necessidade de hardware confiável (Trusted Execution Environments - TEEs) para proteger modelos proprietários e dados sensíveis.
  • Integração no Veículo: Aborda o problema das alucinações (detecção e mitigação), a adaptação multi-modal (fundir dados brutos de sensores diretamente no modelo para evitar erros em cascata) e a criação de modelos de fundação específicos para o domínio da condução (open-source).
  • Implantação Prática: Discute o alinhamento de segurança (garantir que o modelo obedece a regras éticas e de trânsito), a verificação de código gerado por LLMs e a necessidade de testes morais e de "red teaming".
• Tabela de Análise de Dependência: Apresenta uma tabela crítica (Tabela 1 no artigo) que traça a cadeia de causalidade desde decisões de infraestrutura (ex: dados enviesados) até falhas catastróficas na prática (ex: acidentes com grupos sub-representados).
• Roadmap de Pesquisa: Define objetivos claros para curto, médio e longo prazo.

4. Resultados e Descobertas Chave

A análise revela que, embora os FMs tenham potencial para revolucionar os ADS, a sua adoção prática é barrada por barreiras de engenharia de software que ainda não foram resolvidas:

• Qualidade e Privacidade de Dados: Os datasets atuais carecem de diversidade demográfica e contêm dados sensíveis. Técnicas de "aprendizagem de máquina" (Machine Unlearning) são necessárias para remover dados privados de modelos já treinados.
• Hardware e Segurança: A maioria dos aceleradores de IA comerciais é uma "caixa preta" sem suporte a ambientes de execução confiável (TEE), expondo os modelos a roubo e manipulação. É urgente desenvolver arquiteturas de hardware seguras por design.
• Alucinações e Robustez: Os modelos tendem a gerar informações plausíveis mas incorretas (ex: detetar pedestres inexistentes). A dependência de módulos de perceção upstream torna o sistema frágil; a solução sugerida é a fusão multi-modal end-to-end.
• Desafios de Implantação: A otimização de modelos (pruning, quantização) para veículos com recursos limitados pode introduzir vulnerabilidades de segurança e aumentar a taxa de alucinações.
• Alinhamento e Ética: Os regulamentos atuais (como ISO 26262) não cobrem adequadamente os riscos de modelos probabilísticos. É necessário desenvolver novos benchmarks de segurança e métodos de alinhamento online.

5. Significado e Impacto

Este trabalho é fundamental para a comunidade de investigação e indústria porque:

1. Muda o Foco: Transita de uma discussão puramente algorítmica para uma abordagem de Engenharia de Software de Sistemas Críticos, reconhecendo que a segurança dos ADS depende tanto da infraestrutura e do ciclo de vida do modelo quanto da precisão do modelo em si.
2. Guia a Investigação Futura: O roteiro de curto, médio e longo prazo oferece um plano de ação claro.
   • Curto Prazo: Estabelecer melhores práticas de dados e ferramentas de QA para ferramentas de desenvolvimento de FMs.
   • Médio Prazo: Desenvolver arquiteturas híbridas (Edge-Cloud) e modelos de fundação específicos de domínio (open-source).
   • Longo Prazo: Garantir raízes de confiança no hardware e alcançar o alinhamento total do modelo com os valores humanos.
3. Segurança Pública: Ao identificar riscos sistêmicos como viés e alucinações, o artigo alerta para a necessidade de mitigar falhas que poderiam levar a acidentes graves, promovendo o desenvolvimento de ADS mais seguros, confiáveis e éticos.

Em suma, o artigo serve como um manifesto técnico para a próxima geração de sistemas de condução autónoma, argumentando que a integração bem-sucedida de Modelos de Fundação exige uma reestruturação profunda de como os dados são curados, como o hardware é projetado e como os sistemas são validados e implantados.