💻 computer science

Counterfactual Reasoning and Environment Design for Active Preference Learning

Este artigo apresenta o CRED, um novo framework de aprendizado de preferência ativo que aprimora a estimativa de recompensa em tarefas robóticas de longo horizonte ao otimizar conjuntamente o design do ambiente e a seleção de trajetórias por meio de raciocínio contrafactual para gerar consultas diversas e informativas para o ranqueamento de preferências humanas.

Autores originais: Yi-Shiuan Tung, Bradley Hayes, Alessandro Roncone

Publicado 2026-07-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yi-Shiuan Tung, Bradley Hayes, Alessandro Roncone

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar pelo mundo, mas não pode simplesmente entregar a ele um livro de regras. Você não pode dizer: "Sempre pegue a rota mais rápida" ou "Nunca atravesse a grama", porque a vida real é complexa. Às vezes você quer velocidade, mesmo que isso signifique uma viagem esburacada; outras vezes, você quer segurança, mesmo que demore mais. Este é o cerne da Aprendizagem de Preferências (Preference Learning): um campo onde os robôs aprendem o que os humanos querem não sendo informados, mas observando-os escolher entre diferentes opções. Pense nisso como um provador em um restaurante. O robô não sabe se você prefere algo picante ou doce até que ele lhe mostre dois pratos e pergunte: "Qual deles parece melhor?"

No entanto, há um problema. Se o robô apenas mostrar caminhos aleatórios para você, ele pode desperdiçar seu tempo perguntando sobre rotas que são obviamente terríveis ou idênticas. Isso é chamado de Aprendizagem de Preferência Ativa (Active Preference Learning). O objetivo é ser um entrevistador inteligente: fazer as perguntas certas para descobrir suas verdadeiras preferências o mais rápido possível. Mas, em jornadas longas e complexas, descobrir quais perguntas fazer é incrivelmente difícil. O robô frequentemente fica preso tentando adivinhar, falhando em aprender seu estilo único de tomada de decisão, especialmente quando encontra novos e estranhos ambientes que nunca viu antes.

É aqui que o artigo apresenta o CRED, um novo método inteligente que atua como um motor de imaginação superpotente para robôs. Os pesquisadores Yi-Shiuan Tung, Bradley Hayes e Alessandro Roncone propõem que, em vez de apenas perguntar sobre o mundo atual, o robô deve "imaginar" novos mundos e fazer perguntas do tipo "E se?".

Veja como o CRED funciona, usando uma analogia simples: Imagine que você está tentando adivinhar o sabor de sorvete favorito de um amigo. Um robô normal poderia apenas perguntar: "Você gosta de baunilha ou chocolate?" repetidamente. O CRED, porém, é diferente. Primeiro, ele utiliza o Raciocínio Contrafactual (Counterfactual Reasoning). Ele pergunta a si mesmo: "E se meu amigo amasse menta, mas odiasse chocolate? O que ele escolheria então?". Ele simula esses cenários de "e se" em sua mente, criando um conjunto diversificado de escolhas imaginárias que cobrem todas as formas possíveis de seu amigo pensar. Isso ajuda o robô a gerar perguntas muito mais interessantes para fazer, em vez de perguntas chatas e repetitivas.

Segundo, o CRED utiliza o Design de Ambiente (Environment Design). Imagine que seu amigo só gosta de chocolate quando é servido em uma tigela elegante, mas prefere baunilha em um copo comum. Se você sempre servir o chocolate em copos comuns, nunca aprenderá a verdadeira preferência dele. O CRED percebe que o contexto importa. Ele "imagina" mudar o ambiente — talvez transformando um campo de grama em uma estrada de cascalho ou mudando o clima em uma simulação — para ver como isso altera a escolha. Ao ajustar o próprio mundo, o robô pode encontrar o cenário perfeito para fazer uma pergunta que revele o máximo sobre suas preferências.

Os pesquisadores testaram essa ideia de duas maneiras. Primeiro, usaram um mundo de grade digital com diferentes terrenos, como areia, grama e cascalho. Segundo, usaram dados de mapas reais do OpenStreetMaps para simular rotas de entrega. Eles compararam o CRED com outros métodos de ponta que apenas escolhem caminhos aleatórios ou se limitam ao ambiente atual.

Os resultados foram promissores. Em suas simulações, o CRED aprendeu as preferências "reais" muito mais rápido do que os outros métodos. Enquanto outros robôs levaram cerca de 25 tentativas para entender o padrão, o CRED frequentemente convergiu em apenas 15 iterações. Mais importante ainda, quando o robô foi colocado em um ambiente completamente novo que nunca tinha visto antes, as regras aprendidas pelo CRED funcionaram muito melhor. Ele não apenas memorizou as estradas específicas nas quais praticou; ele aprendeu a lógica das preferências, permitindo que ele generalizasse. Por exemplo, nos testes de mapa, o CRED reduziu o erro na previsão de recompensa por uma margem enorme em comparação ao melhor método anterior, alcançando uma precisão quase perfeita em alguns casos.

O artigo sugere que, ao combinar o pensamento de "e se" com a capacidade de redesenhar o mundo, os robôs podem se tornar muito melhores em nos compreender. Eles não precisam ser instruídos sobre cada regra; eles podem aprender nossos valores explorando o espaço das possibilidades, tanto em nossas escolhas quanto nos mundos em que vivemos. Embora o método atual exija um alto poder de processamento para executar essas simulações, os autores acreditam que esta abordagem pode ser a chave para criar robôs que realmente se adaptem às necessidades humanas no mundo real.

Resumo Técnico: CRED para Aprendizado de Preferência Ativo

Declaração do Problema

A implantação eficaz de robôs autônomos, particularmente em domínios como roteamento de entrega, requer a adaptação a preferências humanas que equilibram objetivos conflitantes, como tempo, custo, segurança e condições de terreno. Embora o Aprendizado de Preferência (PL) permita que robôs aprendam funções de recompensa a partir de classificações de trajetórias humanas sem especificação manual, o Aprendizado de Preferência Ativo (APL) padrão enfrenta desafios significativos. Métodos existentes frequentemente lutam para explorar o espaço total de trajetórias de forma eficiente, particularmente em tarefas de longo horizonte. Eles frequentemente dependem de conjuntos de trajetórias pré-gerados ou rollouts aleatórios, que podem falhar em identificar consultas informativas. Consequentemente, as funções de recompensa aprendidas carecem de generalização para novos ambientes ou cenários não presentes durante a fase inicial de treinamento.

Metodologia: CRED

Os autores propõem o CRED (Counterfactual Reasoning and Environment Design - Raciocínio Contrafactual e Design de Ambiente), um método de geração de consultas projetado para melhorar a estimativa de recompensa ao otimizar conjuntamente o design do ambiente e a seleção de trajetórias. O CRED opera dentro de um framework Bayesiano onde a função de recompensa humana é modelada como uma combinação linear de características de trajetória ( $R_H(\xi) = w^T \Phi(\xi)$ ), e o sistema mantém uma distribuição de crença sobre os pesos da recompensa $w$ .

O CRED aborda as limitações de trabalhos anteriores por meio de dois mecanismos principais:

1. Raciocínio Contrafactual

Em vez de gerar consultas baseadas em uma única política derivada da média da crença atual, o CRED explora cenários "e se".

Amostragem: O sistema amostra vetores de pesos de recompensa ( $w$ ) diversos de sua distribuição de crença atual.
Treinamento de Política: Para cada vetor de peso amostrado, uma política distinta é treinada (por exemplo, via PPO ou iteração de valor) para maximizar a recompensa correspondente.
Geração de Trajetória: Essas políticas são executadas (rolled out) para gerar um conjunto de trajetórias contrafactuais, cada uma representando uma diferente hipótese de preferência humana.
Seleção: O sistema avalia pares dessas trajetórias para maximizar o objetivo de ganho de informação (informação mútua entre a consulta e os pesos estimados), selecionando o par que mais efetivamente reduz a incerteza na distribuição de crença.

2. Design de Ambiente

Reconhecendo que o próprio ambiente influencia o valor informacional das consultas, o CRED trata os parâmetros do ambiente (por exemplo, tipos de terreno, pesos de arestas) como variáveis otimizáveis.

Otimização Bilevel: O problema é formulado como uma otimização bilevel onde o nível superior seleciona os parâmetros do ambiente ( $\theta_E$ ) para maximizar o ganho de informação, e o nível inferior encontra o par de trajetórias ideal para aquele ambiente.
Otimização Bayesiana: Como o objetivo de ganho de informação é geralmente não diferenciável em relação aos parâmetros do ambiente, o CRED emprega Otimização Bayesiana usando um Processo Gaussiano (GP) com uma função de aquisição Upper Confidence Bound (UCB) para pesquisar eficientemente o espaço de parâmetros do ambiente.
Redução de Dimensionalidade: Em ambientes de grade de alta dimensionalidade, Autoencoders Variacionais (VAEs) são usados para comprimir o espaço do ambiente em um espaço latente de menor dimensão para tornar a otimização tratável.

Principais Contribuições

Design de Ambiente para APL: Uma abordagem que modifica os parâmetros do ambiente para gerar contextos diversos, permitindo que o sistema consulte as preferências humanas em uma gama mais ampla de cenários e melhore a generalização.
Geração de Consultas Contrafactuais: Um método que utiliza o raciocínio contrafactual para gerar pares de trajetórias que refletem variadas hipóteses de preferência, em vez de depender de rollouts aleatórios ou políticas de crença média.
Validação Empírica: Uma demonstração da capacidade do método de generalizar para novos ambientes através de experimentos em dois domínios distintos: um GridWorld com tipos de terreno variados e navegação no mundo real usando dados do OpenStreetMap.

Resultados Experimentais

Os autores avaliaram o CRED contra baselines de última geração, incluindo Random Rollouts (RR), Mean Belief Policy (MBP) e versões ablativas (MBP + ED, CR isolado). Os experimentos utilizaram 10 usuários simulados com diversos pesos de recompensa reais (ground-truth).

Ganho de Informação: O CRED gerou consultas de preferência com ganho de informação inicial significativamente maior em comparação com os baselines. Isso levou a uma diminuição mais rápida da entropia da crença durante os estágios iniciais do treinamento.
Velocidade de Convergência: O CRED convergiu para a função de recompensa real mais rapidamente, tipicamente dentro de 15 iterações, enquanto o melhor baseline (RR) exigiu aproximadamente 25 iterações.
Generalização e Precisão: Em ambientes de teste (cenários fora da distribuição), o CRED demonstrou desempenho superior:
- GridWorld: Alcançou uma redução de 84% na diferença de recompensa e um aumento absoluto de 5% na precisão da política em comparação com o melhor baseline.
- OpenStreetMaps: Alcançou uma redução de 97% na diferença de recompensa e um aumento absoluto de 1% na precisão da política.
- Embora os ganhos absolutos em precisão de política e similaridade de Jaccard para o OpenStreetMaps pareçam pequenos, os autores observam que o desempenho do baseline já era alto (aprox. 90-99%) devido a fortes vieses na função de recompensa em direção ao alcance do objetivo; assim, melhorias marginais representam uma adesão significativa às preferências específicas do usuário.

Significância e Limitações

O artigo afirma que o CRED permite que os robôs aprendam as preferências humanas de forma mais eficaz e com menos iterações, ao abordar explicitamente a exploração do espaço de trajetórias e a influência do contexto ambiental. Ao "imaginar" novos cenários e raciocinar sobre preferências contrafactuais, o sistema aprende funções de recompensa que generalizam melhor para novos ambientes.

Os autores reconhecem uma limitação primária: o custo computacional associado ao treinamento de uma política de aprendizado por reforço para cada peso de recompensa amostrado. Eles sugerem que trabalhos futuros poderiam abordar isso através de paralelização ou abordagens de meta-aprendizado para desenvolver uma única política capaz de um ajuste fino rápido para diferentes pesos de recompensa.