Resumo Técnico: Verificação Probabilística de Ações Alcançáveis de Visuomotoras via Treinamento Baseado em Conjuntos

Declaração do Problema

Políticas visuomotoras implantadas em robôs de manipulação enfrentam riscos significativos de segurança devido ao desvio da pose da câmera causado por resíduos de calibração, deslocamentos de montagem e deformação térmica. Mesmo pequenos deslocamentos na pose da câmera alteram a imagem observada, o que pode fazer com que uma política aprendida gere sequências de ações drasticamente diferentes para a mesma cena. O maior desvio de ação resultante é uma preocupação crítica de segurança, pois pode levar o efetuador para regiões inseguras ou causar colisões.

Embora os benchmarks de robustez confirmem que perturbações na perspectiva da câmera afetam substancialmente as políticas visuomotoras, verificar a extensão desses efeitos antes da implantação é desafiador. As abordagens existentes enfrentam um compromisso (trade-off):

1. Propagação de conjuntos ponta a ponta: Propagar conjuntos de incerteza através de grandes codificadores visuais e políticas subsequentes é computacionalmente caro e acumula erros de relaxação através de muitas camadas, resultando em conjuntos de ações excessivamente conservadores (frouxos) que não são úteis para verificação.
2. Treinamento adversarial pontual: Métodos como o treinamento adversarial PGD otimizam contra pontos específicos de pior caso, mas não restringem todo o conjunto de saída, falhando frequentemente em fornecer invólucros determinísticos apertados ou garantias probabilísticas sobre o espaço de ação alcançável.

O problema central é como verificar e reduzir o raio de ação alcançável de uma política visuomotora sob incerteza de pose da câmera sem incorrer na intratabilidade computacional da propagação de conjuntos ponta a ponta ou sacrificar o desempenho da tarefa em malha fechada (closed-loop).

Metodologia

Os autores propõem um framework que desacopla o codificador visual da política subsequente usando uma interface de baixa dimensão calibrada, permitindo uma verificação e treinamento baseados em conjuntos tratáveis.

1. Arquitetura e Design de Interface

• Codificador Visual Congelado: Um codificador visual pré-treinado (ex: ResNet18) é congelado para evitar a acumulação de erros de relaxação associados à propagação de conjuntos através de redes de visão profundas.
• Gargalo Calibrado: Um gargalo linear aprendido de baixa dimensão (32-D) é inserido entre o codificador congelado e a política subsequente. Este gargalo comprime as características visuais.
• Conjunto de Interface: A incerteza proveniente das perturbações da pose da câmera é mapeada para este espaço de gargalo como um conjunto limitado (especificamente, um zonotopo isotrópico $B_\epsilon(z) = \langle z, \epsilon I_m \rangle$). O raio $\epsilon$ é calibrado usando perturbações de pose de câmera de conjuntos de validação para representar o quantil marginal de 95% do deslocamento da representação.

2. Treinamento Baseado em Conjuntos

A política subsequente (uma variante de Política de Flow Matching Visão-para-Ação, ou VITA) é treinada para minimizar o tamanho do conjunto de saída propagado enquanto mantém o desempenho de imitação.

• Propagação: O conjunto de interface é propagado através da política subsequente usando transformadores abstratos de zonotopo (mapas afins e relaxações ReLU). Isso gera um zonotopo de saída $Z_{out}$ que envolve todas as ações alcançáveis a partir do conjunto de interface.
• Objetivo: A perda de treinamento combina uma perda de imitação padrão com uma perda de largura (width loss) no zonotopo de saída terminal. A largura é definida como a soma máxima escalonada das linhas do gerador do zonotopo de saída, normalizada pela magnitude nominal da ação.
• Otimização de Restrição: O treinamento minimiza a perda média de imitação sujeita a uma largura média de minibatch que não exceda um raio alvo $r_{target}$. Isso é alcançado usando uma perda de dobradiça (hinge loss) adaptativa com um multiplicador projetado (variável dual) para impor a restrição de largura.

3. Verificação Probabilística via Calibração Conforme

Para fornecer uma garantia rigorosa sobre o raio de ação alcançável durante a implantação, os autores empregam calibração conforme dividida (split conformal calibration):

• Amostragem: Durante a avaliação, as poses da câmera são amostradas de uma distribuição prescrita (ex: uniforme sobre uma caixa de perturbação 6D limitada).
• Cálculo de Pontuação: Para cada inicialização de rollout, a pontuação é o desvio máximo de ação centrado no valor nominal induzido pela pose amostrada em todos os estados no rollout.
• Calibração: Usando um conjunto de grupos de calibração, o método calcula o quantil $(1-\alpha)$ dessas pontuações. Isso produz um raio de ação alcançável probabilístico $q_\theta$ com garantias de cobertura de amostra finita (ou seja, o desvio real será menor que $q_\theta$ com probabilidade de pelo menos $1-\alpha$).
• Elo Teórico: Os autores provam que a largura do invólucro treinado limita superiormente o desvio físico da ação induzido pelas perturbações amostradas, ligando o objetivo de treinamento diretamente ao raio calibrado.

Principais Contribuições

1. Verificação Baseada em Conjuntos Tratável: O artigo introduz um método que desacopla o codificador visual congelado da política subsequente através de uma interface de baixa dimensão calibrada. Isso permite que o treinamento baseado em conjuntos seja aplicado apenas à política, tornando a verificação baseada em conjuntos tratável para sistemas visuomotores complexos onde a propagação ponta a ponta é inviável.
2. Garantia Teórica: Os autores provam que a largura do invólucro treinado limita superiormente o desvio físico da ação induzido por perturbações de pose de câmera amostradas. Isso estabelece um elo formal entre o objetivo de treinamento (minimizar a largura do zonotopo) e a métrica de implantação (raio de ação alcançável probabilístico).
3. Superioridade Empírica: No benchmark de manipulação LIBERO-10, mostra-se que o treinamento baseado em conjuntos reduz significativamente o raio de ação alcançável em comparação com o ajuste fino baseado apenas em comportamento, consistência observacional e treinamento adversarial pontual (PGD), preservando a capacidade de tarefa em malha fechada.

Resultados Experimentais

Experimentos foram conduzidos no benchmark LIBERO-10 sob perturbações limitadas de extrínsecos de câmera em seis dimensões.

• Redução de Raio: O treinamento baseado em conjuntos alcançou uma redução mediana do raio de ação alcançável de 2,09$\times$ em comparação com o ajuste fino baseado apenas em comportamento no nível de cobertura de 99%.
• Comparação com Baselines:
  • Baseado apenas em comportamento: Serve como o baseline; produz o maior raio.
  • Consistência Observacional: Alinha as previsões entre vistas limpas e perturbadas, mas falha em reduzir o raio abaixo do nível do baseado apenas em comportamento.
  • Treinamento Adversarial PGD: Reduz o raio, mas frequentemente falha em manter a capacidade de tarefa em malha fechada (validade do comportamento) em todas as sementes. Além disso, embora o PGD reduza o raio amostrado, ele não produz um invólucro determinístico apertado; a razão entre a largura do zonotopo e o ataque mais forte dentro do conjunto foi >500 para PGD, enquanto foi ~16 para o treinamento baseado em conjuntos.
• Amplitude de Tarefa: Através de dez tarefas, o treinamento baseado em conjuntos preservou a capacidade da tarefa em três tarefas (onde o baseline falhou em duas delas) e alcançou um raio mais apertado nas tarefas onde ambos os métodos eram válidos.
• Cobertura: O método alcançou cobertura empírica de 0,99 a 1,00 em inicializações de teste mantidas fora do conjunto de treino, validando a calibração conforme.

Significância e Alegações

O artigo afirma que a geometria do conjunto de ação de uma política sob incerteza de sensores pode ser efetivamente moldada durante o treinamento ao desacoplar a percepção do raciocínio de conjuntos subsequente. A principal significância reside na distinção mecânica entre o treinamento baseado em conjuntos e o treinamento adversarial pontual:

• O treinamento baseado em conjuntos restringe o inteiro invólucro de saída, levando tanto a um raio de ação alcançável probabilístico menor quanto a um invólucro determinístico mais apertado e informativo.
• Ataques pontuais (como PGD) apenas restringem os pontos específicos que localizam, resultando frequentemente em um raio amostrado pequeno, mas em um invólucro determinístico frouxo e pouco informativo.

Os autores concluem que sua abordagem torna o sinal de treinamento de conjunto completo acessível para políticas visuomotoras, fornecendo um caminho prático para verificar margens de segurança antes da implantação. Eles observam que, embora o método atual forneça um raio probabilístico, um mapa determinístico do conjunto de pose para o conjunto de interface seria necessário para elevar isso em direção a uma garantia completa de ponta a ponta.