Resumo Técnico: Segurança e Privacidade de Robôs Baseados em Modelos de Fundação

1. Declaração do Problema

Os modelos de fundação (FMs), incluindo Modelos de Linguagem de Grande Escala (LLMs), Modelos de Linguagem-Visão (VLMs) e Modelos de Visão-Linguagem-Ação (VLAs), estão transformando a robótica ao permitir que agentes interpretem instruções abertas, raciocinem sobre contextos multimodais e operem em ambientes complexos de mundo aberto. No entanto, essa integração introduz riscos de segurança e privacidade (S&P) que se estendem além dos próprios modelos para os pipelines de execução incorporada, ecossistemas de suporte e impactos de governança mais amplos.

As revisões de literatura existentes sobre este tema sofrem de duas limitações primárias:

1. Cobertura Fragmentada: A maioria das revisões foca em tipos específicos de FM (por exemplo, apenas LLMs ou apenas VLAs) ou em categorias de risco específicas, carecendo de uma análise integrada entre diferentes tipos de modelos e camadas de sistema.
2. Estrutura Insuficiente: As análises anteriores frequentemente dependem de taxonomias planas e fronteiras de confiança únicas (por exemplo, focando apenas no modelo ou na corporeidade do robô). Isso obscurece como os riscos se originam, propagam-se através das camadas e se amplificam em danos sociais mais amplos. Consequentemente, o campo carece de uma estrutura unificada para identificar lacunas de mitigação e compreender o ciclo de vida completo dos riscos de S&P em sistemas robóticos baseados em FM.

2. Metodologia

Para abordar essas lacunas, os autores propõem uma abordagem sistemática fundamentada em um novo framework estrutural e uma taxonomia de múltiplos níveis.

2.1 O Framework Estrutural F-E-S-G

Os autores definem um framework de fronteira de confiança progressivo de quatro camadas para organizar o espaço do problema:

• Camada do Modelo de Fundação (F): Captura desafios enraizados no próprio artefato do modelo (parâmetros, checkpoints, adaptadores, embeddings, atualizações de treinamento).
• Camada do Sistema Incorporado (E): Abrange questões dentro do pipeline de execução interna de um robô autônomo, incluindo o ciclo completo de percepção-planejamento-execução (Percepção, Planejamento, Política, Cinemática, Execução, Middleware).
• Camada do Ecossistema de Suporte (S): Inclui riscos de componentes externos e infraestruturas que suportam a operação (canais de comunicação, backends em nuvem, cadeias de suprimentos, ferramentas externas).
• Camada de Impacto de Governança (G): Aborda questões que se estendem além do sistema técnico, incluindo regulamentação, responsabilidade, confiança pública e consequências humanas/sociais subsequentes.

2.2 Taxonomia de Múltiplos Níveis e Codificação

Com base no framework, os autores desenvolveram uma taxonomia para organizar os estudos anteriores ao longo de três níveis:

1. Fronteira de Confiança: F, E, S ou G.
2. Domínio: Segurança (integridade, confiabilidade, comportamento pretendido) vs. Privacidade (proteção de informações sensíveis).
3. Perspectiva: Riscos (vulnerabilidades, ameaças) vs. Mitigações (prevenção, detecção, recuperação).

Adicionalmente, cada um dos 96 artigos sistematizados foi anotado com atributos de codificação detalhados:

• Alvo: O componente específico afetado (ex: Módulo de Planejamento, Middleware).
• Estágio: O estágio do ciclo de vida onde o risco é introduzido ou a mitigação é aplicada.
• Mecanismo: O método técnico do risco ou da defesa.
• Acesso ao Sistema: A visibilidade do adversário (Nenhum, Black-box, Gray-box, White-box).
• Efeito: Eficácia, furtividade e custo de utilidade.

2.3 Processo de Sistematização

Seguindo as práticas padrão de Sistematização de Conhecimento (SoK), os autores:

1. Definiram o escopo para incluir estudos de S&P envolvendo LLMs, VLMs ou VLAs na percepção, planejamento ou seleção de ação robótica.
2. Recuperaram candidatos de grandes conferências de segurança, privacidade, robótica e IA incorporada (290 candidatos iniciais).
3. Triaram os artigos por título, resumo e texto completo, retendo 118 para revisão completa.
4. Codificaram e classificaram iterativamente 96 artigos no corpus final usado para análise.

3. Principais Descobertas e Resultados

3.1 Riscos e Mitigações por Camada

• Camada de Modelo de Fundação (F):

  • Riscos: Dominados por Comprometimento do Modelo (envenenamento de dados, fine-tuning malicioso/backdoors), Manipulação Semântica (jailbreaking, instruções adversárias, injeção de prompt), Manipulação Visual (patches/texturas adversárias) e Desalinhamento (reward hacking, erro de generalização de objetivo). Riscos de privacidade incluem inferência de pertencimento, vazamento de personalização e fingerprinting.
  • Mitigações: Principalmente Endurecimento do Modelo (treinamento adversário, fusão de modelos, arquiteturas interpretáveis) e Guardrails de Execução. Mitigações de privacidade dependem de Salvaguardas Federadas e Controle Baseado em Chaves.
  • Lacuna: As defesas são frequentemente adaptadas de LLMs apenas de texto e carecem de validação contra a execução física fundamentada.

• Camada do Sistema Incorporado (E):

  • Riscos: Incluem Manipulação Semântica (sequestro de plano), Manipulação Visual (ataques a objetos físicos), Manipulação de Sinal (spoofing de sensores) e Comprometimento de Middleware (vulnerabilidades ROS2/DDS). Riscos de privacidade derivam de escuta de sinais acústicos ou de comunicação.
  • Mitigações: Fortemente dependentes de Guardrails de Tempo de Execução (diagnóstico de falhas, evasão, recuperação) e endurecimento limitado de middleware.
  • Lacuna: As mitigações são reativas e locais à camada, intervindo após as decisões serem tomadas, o que é problemático para ações físicas irreversíveis.

• Camada do Ecossistema de Suporte (S):

  • Riscos: Ataques à cadeia de suprimentos (adaptadores/pacotes envenenados), ataques Man-in-the-Middle (MITM), Abuso de software-serviço e ataques em Sistemas multi-robôs. Riscos de privacidade envolvem vazamento por análise de tráfego e outsourcing de dados.
  • Mitigações: Verificação de cadeia de suprimentos, resiliência multi-robô e detecção de MITM em tempo de execução.
  • Lacuna: Compreensão limitada de riscos composicionais onde componentes individualmente confiáveis introduzem riscos emergentes quando integrados.

• Camada de Impacto de Governança (G):

  • Riscos: Manifestam-se como danos no nível de implantação (ações inseguras, disputas de responsabilidade, perda de confiança) e problemas de privacidade decorrentes da detecção rotineira sem consentimento.
  • Mitigações: Salvaguardas de governança (certificação, auditoria, transparência, alocação de responsabilidade).
  • Lacuna: "Atraso de governança", onde mecanismos de responsabilidade carecem da evidência técnica (proveniência, rastros) necessária para abordar danos trans-camadas.

3.2 Lacunas Sistêmicas e Limitações

A análise revela quatro lacunas sistêmicas críticas:

1. Suposição vs. Realidade: Modelos de ameaça frequentemente assumem acesso white-box ou componentes confiáveis, o que não se sustenta em implantações reais dinâmicas e heterogêneas.
2. Propagação vs. Mitigação Local: Os riscos frequentemente se originam em uma camada (ex: F) mas se manifestam em outra (ex: E), embora as mitigações sejam frequentemente implantadas apenas onde o dano é observado, falhando em eliminar vulnerabilidades upstream.
3. Fragmentação vs. Defesa Sistêmica: As soluções atuais são específicas para módulos, carecendo de um framework unificado para defesa de ponta a ponta em todo o pipeline.
4. Evidência de Responsabilidade: Mecanismos de governança lutam devido à falta de evidência técnica unificada e verificável (proveniência, históricos de atualização) entre as camadas.

3.3 Limitações de Avaliação

O artigo identifica deficiências significativas nos protocolos de avaliação atuais:

• Falta de benchmarks compartilhados e métricas padronizadas.
• Relato insuficiente de custos de utilidade (trocas entre segurança e desempenho).
• Validação Sim-to-Real limitada, levantando questões sobre a generalizabilidade dos achados.

4. Contribuições

O artigo apresenta três contribuições principais:

1. Novo Framework: Propõe o framework estrutural progressivo F-E-S-G, fornecendo uma lente unificada para organizar a pesquisa fragmentada e rastrear a propagação de riscos em todo o ciclo de vida do sistema robótico.
2. Taxonomia de Múltiplos Níveis: Desenvolve uma taxonomia abrangente organizando 96 artigos por fronteira de confiança, dimensão de segurança-privacidade e perspectiva de risco-mitigação, suplementada por atributos de codificação detalhados.
3. Agenda de Pesquisa: Identifica desafios abertos e direções futuras, incluindo a operacionalização de S&P incorporada, o enfrentamento de riscos sistêmicos em sistemas multi-robôs, a garantia de confiabilidade de longo horizonte, a segurança de novos Modelos de Fundação de Mundo (WFMs) e o estabelecimento de protocolos de avaliação unificados.

5. Significância e Alegações

Os autores alegam que este trabalho fornece a primeira visão abrangente e estrutural do panorama de S&P através de todo o ciclo de vida e arquitetura de sistema de sistemas robóticos baseados em FM. Ao ir além das perspectivas de fronteira única, o framework permite que pesquisadores:

• Identifiquem lacunas de mitigação que são invisíveis quando as camadas são visualizadas isoladamente.
• Compreendam como os riscos se originam, propagam-se e se amplificam através de diferentes componentes.
• Sistematizem o campo para guiar o desenvolvimento de sistemas robóticos seguros, preservadores de privacidade e governados de forma responsável.

O artigo enfatiza que, sem tal estrutura unificada, o campo não poderá enfrentar efetivamente a natureza complexa e trans-camadas das ameaças modernas da robótica. Ele se posiciona como uma referência fundamental para pesquisas futuras, destacando que as avaliações atuais são insuficientes e que o trabalho futuro deve unir a lacuna entre defesas técnicas e requisitos de governança.