Resumo Técnico: Capacidade e Robustez Não Podem Ambas Ser Gratuitas

Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA), que mapeiam observações multimodais (imagens e linguagem) diretamente para ações de robôs, alcançaram altas taxas de sucesso em entradas limpas, mas exibem fragilidade catastrófica sob perturbações adversariais. Estudos empíricos mostram que perturbações imperceptíveis (por exemplo, um ataque PGD de $16/255$) podem reduzir as taxas de sucesso de tarefas de $>95\%$ para $<5\%$. Embora existam defesas empíricas, elas geralmente envolvem um compromisso: recuperar a robustez frequentemente incorre em um custo na precisão em dados limpos.

A questão aberta central abordada por este trabalho é se esse compromisso possui um piso teórico. Especificamente, um procedimento de treinamento mais inteligente pode alcançar simultaneamente alta capacidade (precisão em dados limpos) e alta robustez sem limites, ou existe uma restrição fundamental da teoria da informação que impede que ambas sejam maximizadas simultaneamente?

Metodologia

Os autores formulam um quadro teórico baseado na teoria da informação para limitar o desempenho conjunto de políticas VLA.

1. Quadro Teórico

O artigo define uma política VLA $\pi$ que mapeia uma observação $X$ para uma ação $A_\pi$. Seja $A^\star$ a ação oráculo (especialista) e $\tilde{X} = X + \delta$ a observação perturbada. Os autores definem duas métricas-chave:

• Capacidade ($Cap$): A informação mútua entre a ação da política e a ação oráculo, $I(A^\star; A_\pi)$.
• Robustez ($Rob$): A informação mútua preservada sob ataque, ajustada para "vazamento", definida como $I(A_\pi; \tilde{A}_\pi) - I(A_\pi; \delta)$. A subtração de $I(A_\pi; \delta)$ impede que políticas degeneradas alcancem pontuações altas simplesmente copiando a perturbação $\delta$ para a ação.

A contribuição central é o Teorema 1, que afirma que para qualquer política VLA com ações discretas (ou discretizadas):
$$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(X; \tilde{X})$$
Onde:

• $H(A^\star)$ é a entropia da ação oráculo (complexidade da tarefa).
• $I(X; \tilde{X})$ é a informação mútua entre a observação limpa e a perturbada (capacidade do canal de ataque).

A prova depende de duas aplicações da Desigualdade de Processamento de Dados (DPI) e da não negatividade da informação mútua. O limite é independente da política, o que significa que o "orçamento" para capacidade e robustez é determinado exclusivamente pela tarefa e pelo ataque, não pela arquitetura do modelo.

2. Apertando o Limite

Os autores reconhecem que o limite ao nível de pixels é frouxo para os modelos atuais porque a dimensão da imagem ($D \approx 49.152$) excede vastamente a dimensão do espaço de ações ($7$-D). Para abordar isso, eles propõem o Corolário 4 (Limite Específico do Codificador):
$$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(\phi(X); \phi(\tilde{X}))$$
Aqui, $\phi$ representa um codificador congelado (por exemplo, DINOv2+SigLIP no OpenVLA). Isso restringe a capacidade do canal ao subespaço relevante para a política, apertando significativamente o orçamento teórico.

3. Estratégia de Validação

O artigo valida o limite através de duas abordagens distintas:

1. Validação Sintética (Gaussian-VLA): Um proxy de forma fechada onde todas as quantidades ($H, I$) podem ser computadas analiticamente ou estimadas com alta precisão. Isso inclui 252 células experimentais variando dimensões e níveis de ruído.
2. Validação em Modelo Real: Avaliação no OpenVLA-7B em quatro suites LIBERO (Espacial, Objeto, Objetivo, LIBERO-10) sob ataques de Descida de Gradiente Projetado (PGD). Os autores utilizam MINE (Estimação Neural de Informação Mútua) e estimadores de histograma discretizados para medir os termos.

Principais Resultados

1. Verificação Teórica

• Zero Violações: O limite vale em 252/252 células sintéticas Gaussian-VLA e 48/48 células experimentais reais OpenVLA-7B.
• Comportamento da Folga: A "folga" ($S = \text{Orçamento} - (Cap + Rob)$) é não negativa em todos os casos. À medida que o orçamento de ataque $\epsilon$ aumenta, a capacidade do canal $I(X; \tilde{X})$ diminui, fazendo com que o orçamento total encolha, o que está alinhado com as previsões teóricas.

2. Magnitude do Limite

• Limite ao Nível de Pixels: No OpenVLA, o orçamento ao nível de pixels é de aproximadamente 5.000 nats (dominado pela capacidade do canal de imagem), enquanto a $Cap + Rob$ medida é negligenciável ($<1$ nat). Isso resulta em uma folga de $\sim 10^3$ nats, indicando que o limite ao nível de pixels é um teto frouxo.
• Limite Específico do Codificador: Ao restringir o canal ao subespaço do codificador, o orçamento cai para $\sim 31$ nats ($H(A^\star) \approx 26$ nats + $I(\phi(X); \phi(\tilde{X})) \approx 4,6$ nats).
• Realidade da Restrição: Sob o limite específico do codificador, a capacidade discretizada ($Cap_{disc} \approx 7,5$ nats) já consome $\sim 24\%$ do orçamento total. Isso sugere que, para arquiteturas atuais, o compromisso não é apenas teórico, mas praticamente restritivo; há espaço limitado para melhorar a robustez sem sacrificar a capacidade.

3. Robustez do Estimador

Os autores demonstram que o limite vale mesmo quando se utilizam estimadores enviesados (MINE, InfoNCE, KSG). Como o MINE tende a subestimar a informação mútua (um limite inferior), ele subestima o Lado Esquerdo (LE) da desigualdade, tornando o limite mais fácil de satisfazer. Assim, o resultado de zero violações é robusto contra viés do estimador.

Significado e Alegações

O artigo alega as seguintes contribuições e significados:

1. Primeiro Resultado de Impossibilidade para Políticas de Ação: Diferentemente de trabalhos anteriores (por exemplo, Tsipras et al., 2019) que focaram em classificadores binários, este é o primeiro limite de teoria da informação especificamente para políticas geradoras de ações. Ele prova que capacidade e robustez não podem ambas ser gratuitas; elas competem por um orçamento fixo determinado pela entropia da tarefa e pela capacidade do canal de ataque.
2. Uma Nova Métrica para Avaliação de Defesas: Os autores propõem a Folga Específica do Codificador ($S_{enc}$) como uma métrica normalizada para comparar artigos sobre defesas. Em vez de relatar números absolutos de robustez que não se transferem entre configurações, trabalhos futuros podem relatar a fração do orçamento do codificador consumida. Isso permite uma avaliação padronizada de quão próxima uma política está do limite teórico.
3. Valor Diagnóstico para Arquitetura: O limite revela que a "frouxidão" nos modelos atuais é estrutural. A lacuna entre o orçamento ao nível de pixels e o orçamento ao nível do codificador destaca que as políticas atuais não exploram totalmente a informação disponível na representação do codificador.
4. Implicações de Segurança: O trabalho reformula a fragilidade adversarial de um problema de precisão para um problema de segurança. Como cada previsão é uma ação física, o piso teórico implica que existe um limite rígido para quão robusto um VLA pode ser tornado sem comprometer sua capacidade de realizar a tarefa, necessitando uma mudança na forma como sistemas críticos de segurança são projetados e avaliados.

O artigo conclui que, embora o limite seja não construtivo (não fornece uma receita para construir uma política que sature o limite), ele estabelece um limite fundamental que nenhuma quantidade de ajuste arquitetural pode contornar. A "folga" representa a lacuna entre as capacidades atuais e o máximo teórico, que agora é quantificável.