Resumo Técnico: Aprendizado Informado por Falhas Adaptativo (AFIL) para Modelos Visão-Linguagem-Ação

1. Declaração do Problema

Os modelos Visão-Linguagem-Ação (VLA) emergiram como um paradigma escalável para manipulação robótica, aproveitando representações pré-treinadas em larga escala de visão e linguagem para permitir a tomada de decisão corporificada. No entanto, os modelos VLA atuais sofrem de fragilidade significativa durante a implantação. Essa limitação decorre principalmente de sua dependência de clonagem comportamental baseada apenas em sucesso. Os dados de treinamento tipicamente consistem em trajetórias teleoperadas coletadas em ambientes confinados, que carecem de sinais corretivos para estados subótimos ou não vistos.

Consequentemente, políticas treinadas exclusivamente em demonstrações bem-sucedidas tendem a superajustar-se a variedades comportamentais estreitas. Quando ocorrem erros menores de execução, eles se acumulam rapidamente em falhas irrecoveráveis e fora da distribuição. Embora trabalhos recentes sugiram que aprender com dados de falha possa melhorar a robustez, abordagens existentes enfrentam limitações críticas:

• Design Manual: Muitos métodos dependem de taxonomias de falhas criadas manualmente (por exemplo, definir categorias específicas como "deslizamento" ou "agarramento incompleto"), o que requer expertise de domínio e falha em capturar a diversidade estocástica das falhas do mundo real.
• Dependência Humana: A recuperação frequentemente depende de heurísticas específicas da tarefa ou intervenção humana em tempo real, limitando a escalabilidade.
• Custo Computacional: Aplicar orientação negativa (semelhante ao negative prompting na geração de imagens) a ações robóticas sequenciais não é trivial. Métodos convencionais frequentemente exigem modelos separados para distribuições desejadas e indesejadas, o que é computacionalmente proibitivo para sistemas VLA construídos sobre grandes backbones de Modelo Visão-Linguagem (VLM).

2. Metodologia: Aprendizado Informado por Falhas Adaptativo (AFIL)

Os autores propõem o Aprendizado Informado por Falhas Adaptativo (AFIL), um framework end-to-end projetado para políticas VLA baseadas em difusão e correspondência de fluxo. O AFIL utiliza trajetórias de falha como orientação negativa adaptativa para desviar a geração de ações de regiões propensas a falhas.

2.1 Arquitetura de Gerador de Ação Duplo (DAG)

O AFIL introduz uma arquitetura de Gerador de Ação Duplo (DAG) que aprende conjuntamente de dados de sucesso e de falha, mantendo a eficiência de parâmetros:

• Backbone Compartilhado: Ambos os geradores compartilham um backbone VLM pré-treinado comum ($\Phi_{VLM}$) para percepção visual e fundamentação semântica.
• Duplas Cabeças: A arquitetura emprega dois geradores de ação distintos:
  1. Gerador de Sucesso ($\mathcal{G}_{succ}$): Treinado exclusivamente em trajetórias bem-sucedidas para modelar a distribuição $p_{succ}(a | o, \ell)$.
  2. Gerador de Falha ($\mathcal{G}_{fail}$): Treinado exclusivamente em trajetórias de falha para modelar a distribuição $p_{fail}(a | o, \ell)$.
• Geração Online de Falhas: Em vez de depender de anotação manual, o AFIL gera trajetórias de falha online, executando um VLA pré-treinado sob execução condicionada à tarefa. Essas trajetórias capturam naturalmente modos de erro emergentes e cumulativos.

2.2 Estratégia de Treinamento

O modelo é treinado em um conjunto de dados misto $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$.

• Para políticas baseadas em difusão, cada gerador prevê ruído $\epsilon_\theta$ e minimiza o objetivo padrão de difusão em seu respectivo conjunto de dados.
• Para políticas de correspondência de fluxo, as cabeças preveem campos de velocidade para transportar amostras do ruído para a distribuição de dados.
• Crucialmente, os objetivos de treinamento generativos subjacentes permanecem inalterados; a inovação reside na estrutura de treinamento conjunto e no mecanismo de orientação no momento da inferência.

2.3 Amostragem Informada por Falhas Adaptativa

Na inferência, o AFIL emprega um mecanismo de orientação dinâmica inspirado no Negative Prompting na geração de texto para imagem. Em vez de usar uma escala de orientação estática, o AFIL modula adaptativamente a força da orientação negativa com base na divergência entre as previsões de sucesso e de falha em cada etapa de difusão.

A pontuação orientada $\epsilon^*_{FI}$ é calculada como:
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
Onde a escala de orientação adaptativa $\hat{\lambda}_\eta$ é determinada pela similaridade de cosseno entre os vetores de ruído previstos pelos geradores de sucesso e de falha:
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

Racional para Adaptatividade:

• Estágios Iniciais: No início de um episódio, as execuções bem-sucedidas e falhas frequentemente compartilham movimentos de alcance semelhantes. Aqui, a similaridade de cosseno é alta, resultando em uma escala de orientação baixa para evitar suprimir ações válidas.
• Estágios de Divergência: À medida que a trajetória progride, se um modo de falha emerge (por exemplo, soltar um objeto), as previsões divergem. A similaridade de cosseno diminui, aumentando a escala de orientação para repelir ativamente a política da variedade de falha e guiá-la para comportamentos corretivos.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Framework AFIL: A introdução do Aprendizado Informado por Falhas Adaptativo para VLAs baseados em difusão e fluxo, utilizando execuções de falha geradas online como uma forma principial de orientação negativa adaptativa para geração de ação sequencial.
2. Arquitetura DAG-VLA: Uma arquitetura inovadora que aprende conjuntamente comportamentos de sucesso e de falha com um backbone VLM compartilhado, permitindo aprendizado de política consciente de falhas eficiente com sobrecarga limitada de parâmetros.
3. Validação Empírica: Demonstração de que o AFIL melhora consistentemente as taxas de sucesso e a robustez em diversas tarefas de manipulação dentro e fora do domínio, incluindo configurações de curto e longo horizonte.

4. Resultados Experimentais

Os autores avaliaram o AFIL nos benchmarks ManiSkill e LIBERO usando um backbone $\pi0.5$.

4.1 Desempenho Dentro do Domínio (ManiSkill)

• Tarefas de Curto Horizonte: O AFIL melhorou significativamente as taxas de sucesso em relação às bases apenas de sucesso. Por exemplo, em "Levantar o pino na vertical", as taxas de sucesso aumentaram de 70,7% (Apenas Sucesso) para 90,7% (AFIL Adaptativo).
• Tarefas de Longo Horizonte: Os ganhos foram mais pronunciados em tarefas complexas e multi-etapa onde os erros se acumulam. Em "Colocar a lata no prato e a banana no prato", as taxas de sucesso subiram de 39,3% para 71,3%, superando a amostragem informada por falhas estática em mais de 12%.
• Ablação: O estudo confirmou que a orientação adaptativa ($\alpha=1.0$) supera a orientação estática, particularmente ao equilibrar a repulsão de modos de falha sem suprimir ações válidas durante os estágios iniciais da trajetória.

4.2 Avaliação de Benchmark (LIBERO)

• O AFIL alcançou desempenho de última geração em todas as quatro suites do LIBERO (Espacial, Objeto, Objetivo e Longo).
• Na desafiadora suite LIBERO-10 (longo horizonte), o método melhorou o desempenho da base $\pi0.5$ de 92,4% para 95,8%.
• A taxa média de sucesso em todas as suites melhorou de 96,9% para 98,4%, demonstrando que até políticas pré-treinadas fortes se beneficiam da orientação adaptativa de falhas.

4.3 Avaliação Fora do Domínio (OOD)

• Em cenários envolvendo objetos não vistos, geometrias novas e ambientes desordenados, a política apenas de sucesso degradou-se significativamente (por exemplo, 10,7% em Classificação de Frutas).
• O AFIL demonstrou generalização robusta, alcançando 64,0% de sucesso em Classificação de Frutas, superando significativamente tanto a base apenas de sucesso quanto a base "Sucesso + Correção de Falha" sem orientação adaptativa.

5. Significado e Alegações

O artigo afirma que o AFIL oferece um mecanismo escalável e eficiente para geração robusta de ação robótica sem exigir:

• Modos de falha ou taxonomias criados manualmente.
• Heurísticas de recuperação específicas da tarefa.
• Modelos VLA separados e em larga escala para detecção de falhas.

Ao modelar explicitamente distribuições de falha e utilizá-las como orientação negativa adaptativa, o AFIL aborda a fragilidade inerente ao treinamento apenas de sucesso. Os autores postulam que essa abordagem fornece uma direção promissora para o desenvolvimento de políticas VLA capazes de generalizar para configurações de implantação realistas onde erros, deslocamentos de distribuição e a necessidade de recuperação são inevitáveis. O método é apresentado como agnóstico ao modelo, aplicável a qualquer política VLA baseada em difusão ou correspondência de fluxo.