Resumo Técnico: RoDiF – Ajuste Fino Direto Robusto de Políticas de Difusão com Feedback Humano Corrompido

1. Definição do Problema

As políticas de difusão emergiram como um paradigma poderoso para o controle robótico, oferecendo capacidades superiores em capturar distribuições multimodais e lidar com espaços de ação de alta dimensão em comparação com políticas gaussianas ou determinísticas tradicionais. No entanto, realizar o ajuste fino (fine-tuning) dessas políticas pré-treinadas para alinhá-las com preferências humanas específicas apresenta dois desafios fundamentais:

1. Desajuste Estrutural: Ao contrário dos modelos de linguagem autorregressivos, as políticas de difusão operam através de uma cadeia de denoising (desruído) de múltiplos passos aninhada dentro do Processo de Decisão de Markov (MDP) do ambiente. Os métodos existentes de Otimização Direta de Preferência (DPO) não consideram nativamente essa estrutura temporal dupla (passos internos de denoising vs. dinâmica externa do ambiente), tornando a derivação de um objetivo DPO tratável não trivial.
2. Feedback Humano Corrompido: O feedback humano no controle robótico é frequentemente estocástico e contém inconsistências que vão além das suposições de ruído padrão (ex: inversões de rótulos, discordância entre anotadores ou critérios não estacionários). O ajuste fino ingênuo nesses dados causa o sobreajuste (overfitting) da política a comparações conflitantes, otimizando efetivamente para restrições errôneas em vez da intenção humana, o que degrada tanto o alinhamento quanto o desempenho da tarefa.

2. Metodologia

O framework proposto, RoDiF (Robust Direct Fine-Tuning), aborda esses desafios por meio de uma formulação teórica unificada e uma estratégia de otimização geometricamente fundamentada.

2.1 Formulação de MDP Unificado

Para permitir o DPO para políticas de difusão, os autores introduzem um MDP Unificado que integra coerentemente a cadeia de denoising de difusão com a dinâmica do ambiente.

• Definição de Estado e Ação: O estado unificado $s^+$ combina o estado atual do ambiente $s_t$ e o vetor de ruído inicial $a^K_t$. A ação unificada $a^+$ representa a sequência de passos de denoising $(a^{K-1}_t, \dots, a^0_t)$.
• Dinâmica de Transição: A função de transição achata o processo, tratando a injeção de ruído aleatório e a transição do ambiente como um único passo.
• Fatoração da Política: A política unificada $\pi_\theta(a^+|s^+)$ é fatorada no produto das probabilidades de denoising condicionais em cada passo $k$, permitindo a aplicação de truques de reparametrização DPO padrão ao processo de difusão sem a necessidade de um modelo de recompensa explícito.

2.2 Perspectiva de Corte de Hipótese Geométrica

O RoDiF reinterpreta o objetivo DPO através de uma lente geométrica.

• Espaço de Hipóteses: O espaço de parâmetros da política de difusão é visto como um espaço de hipóteses $\Theta$.
• Preferência como Cortes: Cada par de preferência humana (trajetória vencedora $\tau_w$ vs. trajetória perdedora $\tau_l$) induz uma restrição de desigualdade (um "corte") no espaço de parâmetros. Um parâmetro de política válido deve satisfazer $\Delta Q_\theta \geq 0$ para o par preferido.
• O Problema do Ruído: Na presença de rótulos corrompidos, um único erro de preferência pode criar um "falso corte" que exclui o parâmetro ideal $\theta_H$ da interseção de todos os cortes, desviando irreversivelmente o processo de aprendizado.

2.3 Estratégia de Votação Conservadora

Para alcançar robustez sem assumir uma distribuição de ruído específica, o RoDiF emprega uma estratégia de corte conservadora:

• Mecanismo de Votação: Em vez de exigir que um parâmetro satisfaça todos os cortes de preferência (o que falha se houver qualquer rótulo corrompido), o método trata cada corte como um voto.
• Limiar de Conservadorismo: Um nível de conservadorismo $\gamma \in [0, 1]$ é introduzido, representando uma estimativa do limite superior da taxa de corrupção. O objetivo de otimização é relaxado para manter parâmetros que satisfaçam pelo menos $\lfloor(1-\gamma)N\rfloor$ cortes.
• Função de Perda Robusta: A perda DPO padrão é modificada para uma perda robusta $L_{RoDiF}$. A função degrau de Heaviside não diferenciável (usada para contar votos) é suavizada usando uma função sigmoide para permitir a otimização baseada em gradiente. Isso permite que a política ignore até $\gamma N$ rótulos inconsistentes enquanto ainda converge para a verdadeira política alinhada ao humano.

3. Principais Contribuições

1. Formulação de MDP Unificado: Uma formulação inovadora que integra passos de denoising de difusão com transições ambientais, permitindo a derivação de um objetivo DPO tratável e livre de recompensa para políticas de difusão.
2. Algoritmo RoDiF: Um algoritmo geometricamente fundamentado que realiza o ajuste fino robusto de políticas de difusão ao alavancar o corte de hipótese conservador. Ele mitiga o impacto de rótulos de preferência inconsistentes sem exigir conhecimento prévio da distribuição do ruído.
3. Validação Empírica: Experimentos extensos demonstrando que o RoDiF supera significativamente os principais métodos de referência (baselines) atuais (incluindo DPO padrão, CPO, IPO e SimPO) em tarefas de manipulação de longo horizonte e alta dimensão, mantendo alto desempenho de alinhamento mesmo sob 30% de rótulos de preferência corrompidos.

4. Resultados Experimentais

O método foi avaliado em cinco tarefas de manipulação de longo horizonte (Avoid, Pushing, Sorting, Aligning, Stacking) utilizando três diferentes arquiteturas de difusão (UNet, Transformer, MLP).

• Eficácia de Alinhamento: O RoDiF direcionou com sucesso as políticas pré-treinadas para modos especificados pelo usuário, mesmo quando esses modos não eram dominantes na política pré-treinada (ex: alcançando >84% de alinhamento de modo na tarefa "Avoid", onde o baseline era <21%).
• Robustez ao Ruído:
  • Sob 0% de corrupção, o RoDiF teve desempenho comparável ao DPO padrão.
  • Sob 20% e 30% de corrupção, o DPO padrão e outros métodos (como SimPO) degradaram significativamente (ex: a taxa de sucesso do SimPO caiu de 43% para 10% sob 20% de ruído).
  • O RoDiF manteve alto desempenho (>84% de taxa de sucesso) em todos os níveis de ruído, isolando efetivamente o sinal de direção do ruído sistemático de rótulos.
• Agnosticismo de Arquitetura: O método provou ser eficaz em diversas arquiteturas de difusão (UNet, Transformer, MLP).
• Eficiência de Amostragem: O framework demonstrou alta eficiência de amostragem, alcançando um forte alinhamento com apenas 10 pares vencedor-perdedor em tarefas específicas.

5. Significância e Alegações

O artigo afirma que o RoDiF avança a segurança e a confiabilidade do aprendizado robótico baseado em preferência. Ao mitigar explicitamente os efeitos de feedbacks humanos errôneos ou inconsistentes, o framework reduz o risco de atualizações de política frágeis ou instáveis. Isso é apresentado como um passo crítico para a implantação de sistemas robóticos em ambientes do mundo real sensíveis à segurança, onde anotadores humanos podem fornecer dados imperfeitos. O trabalho enfatiza a robustez como um requisito fundamental para o deployment responsável, oferecendo uma solução que não depende de dados perfeitos ou de modelagem de recompensa complexa.