📊 statistics

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning

Este artigo introduz o Similarity as Reward Alignment (SARA), um framework contrastivo robusto para aprendizagem por reforço baseada em preferências que aprende representações latentes para computar recompensas como similaridades, demonstrando estabilidade superior e resiliência ao ruído em comparação com baselines em benchmarks de controle contínuo.

Autores originais: Sara Rajaram, R. James Cotton, Fabian H. Sinz

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sara Rajaram, R. James Cotton, Fabian H. Sinz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a andar, dançar ou cozinhar uma refeição. No mundo da inteligência artificial, isso é chamado de Aprendizado por Reforço (Reinforcement Learning). Normalmente, o robô aprende tentando coisas e recebendo uma pontuação, ou "recompensa", de um programador humano. Se o robô faz algo bom, ele ganha um ponto; se ele cai, ele perde um. Mas aqui está o problema: escrever um sistema de pontuação perfeito é incrivelmente difícil. É como tentar escrever um livro de regras para "cozinhar bem" que cubra todos os possíveis erros que um chef poderia cometer sem acidentalmente dizer para eles queimarem a casa inteira.

Para resolver isso, cientistas desenvolveram um atalho inteligente chamado Aprendizado por Reforço Baseado em Preferências (PbRL). Em vez de escrever um livro de regras, eles apenas pedem aos humanos para olharem duas tentativas diferentes do robô e dizerem: "Eu gosto mais desta do que daquela". O robô então tenta descobrir as regras ocultas do que torna a "boa" melhor. É muito mais fácil dizer "eu prefiro esta pizza" do que escrever um manual sobre exatamente quanta queijo é perfeito. No entanto, há um grande problema: os humanos não são perfeitos. Nós ficamos cansados, ficamos confusos e, às vezes, cometemos erros. Se o robô aprender com um professor que erra frequentemente, o robô pode aprender a ser desajeitado ou perigoso. Este artigo aborda a realidade caótica de ensinar robôs com professores humanos que às vezes erram.

Os pesquisadores por trás deste estudo, Sara Rajaram, R. James Cotton e Fabian H. Sinz, notaram que a maioria dos métodos atuais para ensinar robôs a partir de preferências humanas depende de um truque matemático específico chamado modelo de Bradley-Terry. Pense neste modelo como um árbitro rigoroso que só se importa com confrontos diretos. Se você disser ao árbitro: "O Robô A é melhor que o Robô B", o árbitro assume que isso é uma verdade absoluta e ajusta o cérebro do robô de acordo. Mas e se você estivesse apenas chutando? Ou se estivesse cansado e escolhesse o errado? O modelo antigo trata cada erro como um fato, o que pode confundir o robô e fazer com que ele tenha um desempenho terrível quando o professor humano falha.

Para corrigir isso, a equipe introduziu um novo método chamado SARA (Similarity as Reward Alignment - Similaridade como Alinhamento de Recompensa). Em vez de agir como um árbitro rigoroso que olha apenas para pares, o SARA age mais como um crítico de arte sábio que observa uma galeria inteira de pinturas. O SARA não compara apenas dois robôs de cada vez; ele observa todos os exemplos "bons" que o humano gostou e encontra os padrões comuns que os tornam especiais. Ele cria uma "impressão digital" mental do que é uma performance perfeita. Então, quando o robô tenta algo novo, o SARA pergunta: "O quanto isso se parece com a nossa impressão digital?". Se parecer semelhante, o robô recebe uma recompensa. Se for diferente, ele recebe uma pontuação menor.

A beleza do SARA é que ele ignora o ruído. Se um humano acidentalmente diz que uma performance ruim é "boa", o SARA não entra em pânico. Porque ele observou tantos outros exemplos "bons", ele percebe que aquele exemplo ruim não se encaixa no padrão do restante. É como um professor de música que ouviu milhares de peças de piano perfeitas; se um aluno toca uma música com uma nota errada e o professor acidentalmente aplaude, o cérebro do professor sabe: "Espere, isso não soou como as outras músicas excelentes", e não deixa o aluno pensar que ele arrasou.

A equipe testou essa ideia em uma variedade de tarefas robóticas, como fazer um salto de um hopper virtual ou fazer um walker avançar. Eles deliberadamente erraram o feedback humano, dizendo aos robôs que movimentos ruins eram, na verdade, bons, com taxas de erro variando de 0% até 40%. Nesses testes, os métodos antigos (os árbitros rigorosos) começaram a desmoronar à medida que os erros aumentavam, com seu desempenho caindo tanto quanto 73% em algumas tarefas. O SARA, no entanto, manteve-se estável. Mesmo quando o feedback humano era ruidoso, os robôs do SARA continuaram performando bem, mostrando melhorias estatisticamente significativas sobre os métodos mais antigos.

Os pesquisadores também verificaram se o SARA entendia o objetivo real da tarefa, não apenas o que o humano disse. Eles descobriram que as recompensas calculadas pelo SARA estavam muito mais alinhadas com a física real do ambiente do que as recompensas calculadas pelos métodos antigos. Isso sugere que o SARA é melhor em filtrar a confusão humana e encontrar o verdadeiro comportamento "bom" escondido por baixo.

Em resumo, este artigo sugere que, ao ensinar robôs com feedback humano, é melhor procurar pela "vibe" de uma performance boa através de muitos exemplos do que obcecar por cada comparação individual. Ao usar um método que aprende com a sabedoria coletiva de um grupo de exemplos "bons" em vez de apenas lutas de pares, o SARA torna os robôs muito mais robustos contra os erros humanos. Isso não significa que o professor humano precise ser perfeito; apenas significa que o robô é inteligente o suficiente para saber quando o professor está tendo um dia ruim.

Resumo Técnico: Similarity as Reward Alignment (SARA)

Declaração do Problema

O Aprendizado por Reforço Baseado em Preferências (PbRL) visa alinhar o comportamento do agente com a intenção humana ao aprender a partir do feedback humano sobre pares de trajetórias, aliviando assim o fardo da engenharia manual de recompensas. No entanto, os métodos de PbRL existentes dependem predominantemente do modelo de Bradley-Terry (BT) para aprender funções de recompensa a partir de classificações pareadas. Esta abordagem enfrenta limitações significativas em cenários do mundo real onde rotuladores humanos não são especialistas ou operam sob restrições de tempo, levando a erros de rotulagem inevitáveis.

Pesquisas anteriores indicam que modelos baseados em BT são frágeis ao ruído; eles assumem preferências transitivas (uma suposição frequentemente violada na psicologia humana) e podem sofrer overfitting em classificações relativas em pares de trajetórias. Estudos empíricos sugerem que mesmo taxas de erro de rotulagem de 10% podem degradar significativamente o desempenho do RL, com taxas de discordância realistas entre rotuladores humanos atingindo frequentemente 25%. Além disso, provas formais de robustez para modelos BT sob configurações ruidosas permanecem um desafio em aberto. O problema central abordado é a falta de robustez nos frameworks atuais de PbRL quando confrontados com dados de preferência ruidosos e de não especialistas.

Metodologia: Similarity as Reward Alignment (SARA)

Os autores propõem o SARA, um framework de aprendizado contrastivo que desloca o paradigma de aprender classificações relativas pareadas para aprender uma representação latente de todo o conjunto de comportamentos preferidos.

Arquitetura Central

O SARA emprega um codificador baseado em Transformer de dois estágios:

Codificação de Trajetória (Enc 1): Cada trajetória (preferida $\sigma_p$ ou não preferida $\sigma_n$ ) é processada através de um codificador Transformer com codificação posicional. O average pooling sobre os passos de tempo produz uma representação latente única ( $u_{p,i}$ ou $u_{n,i}$ ) para cada trajetória.
Codificação de Conjunto (Enc 2): As representações das trajetórias são particionadas aleatoriamente em $k$ subconjuntos (onde $k=2$ nos experimentos) dentro de cada categoria (preferida e não preferida). Um segundo codificador Transformer processa esses subconjuntos, permitindo a atenção dentro do subconjunto para agregar informações. Isso produz representações latentes ao nível do conjunto ( $z^k_p$ e $z^k_n$ ).

Objetivo de Treinamento

O modelo é treinado usando a perda contrastiva SimCLR. O objetivo é:

Aproximar as representações latentes de diferentes subconjuntos da mesma categoria (ex: $z^1_p$ e $z^2_p$ ).
Afastar as representações de subconjuntos preferidos de subconjuntos não preferidos ( $z^k_p$ vs $z^k_n$ ).

Esta randomização da composição do subconjunto a cada época força o codificador a aprender padrões generalizáveis que distinguem comportamentos preferidos de não preferidos, em vez de sofrer overfitting a pares de trajetórias específicos ou rótulos ruidosos.

Inferência de Recompensa

Ao contrário dos métodos baseados em BT que produzem uma função de recompensa parametrizada por $\psi$ , o SARA aprende uma representação de conjunto preferido congelada ( $z^*_p$ ) codificando todo o conjunto de dados de trajetórias preferidas. Durante o treinamento de RL subsequente, a recompensa para uma trajetória amostrada $\sigma_t$ no passo de tempo $t$ é computada como a similaridade de cosseno entre a representação latente da trajetória ( $z_t$ ) e a latente preferida congelada:
$r_t = \cos(z_t, z^*_p)$
A justificativa teórica baseia-se em trabalhos recentes (Sun et al., 2025) que sugerem que prever a probabilidade de uma única trajetória ser preferida é suficiente para o alinhamento, evitando as armadilhas de modelos de classificação relativa.

Principais Contribuições

Framework Contrastivo Robusto: O SARA introduz um novo método que codifica conjuntos de trajetórias preferidas e não preferidas em representações latentes, computando recompensas via similaridade com o conjunto preferido. Isso evita as suposições de classificação pareada do modelo BT.
Resiliência ao Ruído: Ao aprender uma representação ponderada por atenção de todo o conjunto preferido, o SARA alcança robustez ao erro de rotulagem. Ele não depende do ajuste de classificações pareadas, que são suscetíveis à corrupção por rótulos ruidosos.
Análise Mecanística: Os autores fornecem uma explicação mecanística para a robustez do SARA, apoiada por visualizações t-SNE e estudos de ablação. Eles demonstram que o codificador aprende a reduzir o peso de trajetórias mal rotuladas que não compartilham padrões com a maioria do conjunto preferido, filtrando efetivamente o ruído sem mecanismos explícitos de filtragem.
Validação Estatística: O artigo fornece evidência estatística rigorosa (teste de postos sinalizados de Wilcoxon, $p < 0,01$ ) demonstrando a superioridade do SARA sobre os baselines em vários níveis de ruído.

Resultados Experimentais

Os autores avaliaram o SARA em benchmarks de RL offline de controle contínuo (D4RL: locomoção de Mujoco, Franka Kitchen, Adroit) usando conjuntos de dados de preferência com taxas de ruído injetadas de 0%, 10%, 20% e 40%.

Estabilidade de Desempenho: O SARA demonstrou retornos consistentes de avaliação de política entre 0–20% de taxa de erro. Em contraste, os baselines (Preference Transformer, PT+ADT, DPPO) mostraram degradação significativa, com alguns caindo até 73% em datasets específicos conforme as taxas de erro aumentavam.
Significância Estatística: Um teste de postos sinalizados de Wilcoxon através de 24 células de condição-tarefa confirmou que a vantagem de desempenho do SARA sobre todos os baselines é estatisticamente significativa ( $p < 0,01$ ).
Correlação de Recompensa: As recompensas de transição inferidas pelo SARA mostraram maior correlação de Pearson com as recompensas reais do ambiente (usadas como um proxy para os critérios de preferência subjacentes) em comparação com os baselines em todas as taxas de ruído. Isso indica que o SARA captura melhor os verdadeiros critérios de preferência mesmo quando os rótulos são ruidosos.
Estudos de Ablação: Remover a codificação de conjunto (treinando em pares de trajetórias individuais via aprendizado contrastivo) resultou em retornos significativamente menores e menos estáveis, confirmando que a agregação ao nível do conjunto é crítica para a robustez.

Significância e Alegações

O artigo afirma que o SARA oferece uma alternativa mais robusta aos métodos de PbRL padrão baseados em BT, particularmente em cenários envolvendo rotuladores não especialistas ou anotação sob restrição de tempo onde as taxas de erro são altas.

Mudança de Paradigma: Os autores argumentam que o foco do SARA na aprendizagem de representação e no consenso de nível de conjunto, em vez de classificações relativas pareadas, aborda a fragilidade fundamental dos modelos BT ao ruído e às preferências humanas intransitivas.
Utilidade Prática: Embora o SARA possa não deslocar os modelos BT em cenários de alta qualidade e densos em especialistas (onde o BT ainda pode performar bem), ele fornece uma base estável quando a qualidade da anotação é incerta.
Versatilidade: O framework é adaptável a diversos formatos de feedback e não exige estritamente dados pareados, permitindo o uso de subconjuntos de amostras preferidas de um pool maior.

Os autores mantêm-se modestos quanto às suas alegações, reconhecendo que o SARA não garante ordenações de preferência transitivas (uma limitação conhecida das preferências humanas) e que seu uso exclusivo de ambientes D4RL limita a generalização para outros benchmarks. Eles posicionam o SARA não como um substituto universal para o BT, mas como uma evolução necessária para a robustez em configurações realistas de aprendizado de preferência ruidosas.