🤖 machine learning

A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions

Este artigo apresenta uma estrutura formal de três etapas que permite a não especialistas projetar funções de recompensa lineares alinhadas ao humano ao derivar sistematicamente variáveis de resultado mensuráveis, selecionar um subconjunto causalmente representativo de termos de recompensa via otimização de tempo polinomial e ajustar pesos através de um processo de elicitação de preferências emoldurado geometricamente que garante uma região viável livre de conflitos.

Autores originais: Di Yang Shi, W. Bradley Knox

Publicado 2026-08-13

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Di Yang Shi, W. Bradley Knox

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a dirigir um carro, mas não pode simplesmente entregar um manual. Em vez disso, você tem que dar a ele uma "folha de pontuação" chamada função de recompensa. Toda vez que o robô faz algo bom, como permanecer em sua faixa, a pontuação aumenta. Toda vez que ele faz algo ruim, como bater em um meio-fio, a pontuação diminui. O objetivo do robô é simples: obter a maior pontuação possível. Mas aqui está a parte complicada: se você projetar a folha de pontuação errado, o robô pode encontrar uma maneira sorrateira de explorar o sistema. Ele pode aprender a dirigir perfeitamente rápido, mas bater em tudo porque você esqueceu de dizer que bater é ruim. Este é um grande problema no campo da Inteligência Artificial conhecido como Aprendizado por Reforço. Por muito tempo, apenas os maiores especialistas do mundo podiam construir essas folhas de pontuação, e mesmo eles frequentemente cometiam erros que levavam os robôs a comportamentos estranhos ou perigosos. A grande questão é: Como transformamos um desejo humano vago, como "dirigir com segurança e conforto", em uma fórmula matemática precisa que um robô possa entender sem se confundir ou tentar burlar o sistema?

Uma equipe de pesquisadores da Universidade do Texas em Austin propôs um novo framework passo a passo para resolver esse quebra-cabeça, tornando possível que não especialistas projetem essas folhas de pontuação para robôs. Eles chamam o método de uma "processo formal" que transforma uma descrição em linguagem natural de uma tarefa em uma função de recompensa matematicamente sólida. Pense nisso como uma receita que pega uma ideia humana desordenada e a assa em um conjunto de instruções limpo e livre de conflitos para uma máquina. A abordagem deles é construída sobre três etapas principais: primeiro, decompor o grande objetivo em desejos menores e fundamentais; segundo, escolher as ferramentas certas para medir esses desejos sem contar a mesma coisa duas vezes; e terceiro, descobrir exatamente o quanto cada medição importa ao pedir ao humano para comparar diferentes cenários. Os autores mostram que, ao seguir este processo rigoroso, você pode evitar as armadilhas comuns de "exploração de recompensa" (onde o robô explora o sistema) e garantir que o comportamento do robô realmente corresponda ao que o humano realmente deseja.

A Receita de Três Etapas para o Comportamento do Robô

O artigo apresenta um framework que atua como um tradutor, convertendo o desejo em linguagem natural de um humano em uma função de recompensa linear — uma equação matemática onde diferentes fatores são somados com pesos específicos. Os autores argumentam que este processo deve ser acessível a não especialistas e consiste em três estáções distintas.

Etapa 1: De "Eu Quero" para "O Que Medir"
A primeira etapa é sobre clareza. Imagine que você diz a um robô: "Eu quero uma viagem segura e rápida". Isso é muito vago para um computador. O framework sugere um fluxo de trabalho guiado para "destilar" esse desejo em objetivos fundamentais. Você começa listando tudo o que deseja e continua perguntando "por quê?" até atingir os valores centrais. Por exemplo, "evitar o tráfego" pode se reduzir a "minimizar o tempo", e "dirigir com segurança" pode se tornar "minimizar colisões".

Uma vez que você tenha esses objetivos centrais, você precisa transformá-los em variáveis de resultado — coisas que você pode realmente medir. Você não pode medir a "segurança" diretamente, mas pode medir a "aceleração máxima" ou a "satisfação do passageiro". O artigo fornece um checklist para isso: se um objetivo não puder ser medido, decomponha-o mais detalhadamente. Se a coisa que você quer medir não for visível durante o treinamento, encontre uma causa que seja visível. E se uma medição puder ser "explorada" (gameada), você precisa diversificar suas medições para que explorar uma não signifique que você realmente alcançou o objetivo. Esta etapa garante que você não esteja recompensando o robô por fingir o resultado.

Etapa 2: Escolhendo as Ferramentas Certas (O Filtro Causal)
Agora você tem uma longa lista de coisas para medir. Mas medir tudo é caro e confuso. Se você medir tanto a "velocidade" quanto o "tempo de chegada ao destino", poderá estar contando a mesma coisa duas vezes, pois a velocidade faz com que o tempo mude. É aqui que o artigo introduz um truja matemático inteligente.

Os autores tratam as relações entre essas medições como um mapa (um grafo) onde setas mostram o que causa o quê. Eles propõem selecionar um subconjunto de medições que cubra todos os objetivos fundamentais, mas que custe o mínimo de esforço. Eles chamam isso de problema de Cobertura Parcial de Custo Mínimo (Minimum-Cost Partial Cover). Para resolver isso, utilizam um método da teoria dos grafos chamado fluxo máximo (max-flow), que é como encontrar a maneira mais eficiente de rotear água através de uma rede de canos. Ao transformar o problema em uma rede de fluxo, eles podem usar um algoritmo de computador para encontrar o conjunto perfeito e não redundante de medições de uma forma matematicamente garantida. Isso substitui a antiga e bagunçada maneira de apenas adivinhar quais medições manter por um processo de seleção preciso e otimizado.

Etapa 3: Ajustando os Seletores (Ajuste de Pesos)
Finalmente, você tem suas medições escolhidas (como tempo, custo e conforto), mas precisa saber o quanto cada uma importa. Economizar 1 minuto vale a pena tornar a viagem turbulenta? Para responder a isso, o framework utiliza a elicitação de preferências. Em vez de adivinhar os números, o sistema pergunta ao humano: "Você prefere uma viagem 10 minutos mais longa, porém muito suave, ou 5 minutos mais curta, porém turbulenta?".

O artigo enquadra isso como um problema geométrico. Imagine um espaço 3D onde cada ponto representa um conjunto diferente de pesos (o quanto você se importa com o tempo versus o conforto). Cada vez que o humano responde a uma pergunta, o sistema desenha uma linha (um hiperplano) que corta fora a metade do espaço onde a resposta estaria errada. O sistema então escolhe a melhor próxima pergunta — uma que corte o espaço restante ao meio, como um detetive estreitando o cerco aos suspeitos. Os autores mostram que, ao usar um método chamado Método do Plano de Corte do Centro Analítico (Analytic Center Cutting Plane Method), eles podem encontrar os pesos perfeitos com um número específico de perguntas (aproximadamente proporcional ao número de variáveis multiplicado pelo logaritmo da precisão desejada). Isso garante que a folha de pontuação final seja consistente e não tenha regras conflitantes.

Por Que Isso Importa

O artigo sugere que este framework resolve três grandes dores de cabeça no treinamento de robôs. Primeiro, ele impede a redundância ao usar o mapa causal para garantir que não estejamos medindo a mesma coisa duas vezes. Segundo, evita a exploração de recompensa (reward hacking) ao fundamentar as recompensas nos objetivos fundamentais que o humano realmente valoriza, em vez de comportamentos intermediários que o robô possa explorar. Terceiro, corrige o desalinhamento de preferência ao garantir matematicamente que o conjunto final de pesos seja consistente com todas as respostas do humano, em vez de ser apenas um palpite.

Os autores admitem que este é um método novo e que a parte de "elicitação de preferências" ainda depende de um humano (ou um sistema especialista) para responder às perguntas. No entanto, eles argumentam que, ao tornar o processo um algoritmo formal e passo a passo, estão dando o primeiro passo importante em direção a um mundo onde qualquer pessoa pode projetar uma função de recompensa que um robô realmente seguirá, sem precisar de um doutorado em matemática ou anos de tentativa e erro. Eles transformaram uma arte caótica e exclusiva de especialistas em um quebra-cabeça estruturado e solucionável.

Resumo Técnico: Um Framework para o Design de Funções de Recompensa

Declaração do Problema

O design de funções de recompensa alinhadas ao ser humano em Aprendizado por Reforço (RL) permanece um processo amplamente restrito a especialistas, dependendo frequentemente de tentativa e erro que leva a falhas comuns, como o reward hacking (subversão da recompensa), redundância em termos de recompensa e desajustes entre o comportamento da política e a intenção humana. Embora o Aprendizado por Reforço com Feedback Humano (RLHF) tenha ganhado popularidade, os processos de consulta existentes são frequentemente bayesianos ou não especificados, carecendo de limites determinísticos. Além disso, a seleção de termos de recompensa é frequentemente heurística, levando a ineficiências e incentivos desalinhados. Este artigo aborda a necessidade de um processo formal e sistemático que permita a não especialistas instanciar e iterar sobre funções de recompensa lineares alinhadas ao humano, garantindo a adesão a uma ordem de preferência dada sobre trajetórias.

Metodologia

O framework proposto transforma uma descrição de tarefa em linguagem natural em uma função de recompensa linear através de três etapas distintas e formalizadas:

1. Derivação de Variáveis de Resultado (Fluxo de Trabalho Guiado)

A primeira etapa converte uma descrição de tarefa em linguagem natural em um conjunto de variáveis de resultado mensuráveis.

Destilação: A tarefa é analisada iterativamente para extrair "objetivos fundamentais". Isso envolve perguntar "por que" um objetivo é importante até que um conjunto de valores centrais seja alcançado (por exemplo, converter "evitar trânsito" em "minimizar tempo").
Derivação de Proxies: Como os objetivos fundamentais (ex: "minimizar o desconforto do passageiro") são frequentemente não mensuráveis diretamente, o framework deriva "variáveis de resultado" (proxies) mensuráveis que capturam esses objetivos.
Filtragem: O framework identifica problemas potenciais com os proxies (ex: inobservabilidade ou facilidade de manipulação/gameability) e sugere remédios, como a decomposição de objetivos ou a substituição por variáveis causalmente a montante (upstream).

2. Seleção de Termos de Recompensa Causalmente Consciente (Cobertura Parcial de Custo Mínimo)

O conjunto candidato de variáveis de resultado é frequentemente muito grande ou redundante. Esta etapa seleciona um subconjunto de baixo custo e causalmente representativo para servir como os termos de recompensa finais.

Modelagem Causal: As relações entre as variáveis de resultado são modeladas como um Grafo Acíclico Dirigido (DAG), onde as arestas representam efeitos causais.
Formalização: O problema de seleção é formalizado como um problema de Cobertura Parcial de Custo Mínimo (MCPC) no DAG causal. O objetivo é encontrar um subconjunto de nós $S$ que "cubra" todos os nós de demanda (representando os objetivos fundamentais) enquanto minimiza o custo total dos nós selecionados. A cobertura é definida recursivamente: um nó é coberto se ele for selecionado ou se todos os seus pais forem cobertos.
Solução Algorítmica: O problema MCPC é reduzido a um problema de fluxo máximo/corte mínimo (max-flow min-cut) via divisão de nós (node splitting). Isso permite uma solução exata e de tempo polinomial usando algoritmos padrão de fluxo máximo (ex: Edmonds-Karp ou algoritmo de Dinic).
Alternativa Heurística: Em casos onde a estrutura causal global ou os custos são desconhecidos, uma abordagem localmente gananciosa (greedy) é proposta para refinar um conjunto proposto de termos contra um orçamento de custo.

3. Ajuste de Pesos via Elicitação de Preferências (Fezibilidade Convexa)

Uma vez selecionados os termos de recompensa, seus pesos devem ser determinados para formar uma função de recompensa escalar. O artigo assume uma combinação linear de características.

Enquadramento Geométrico: O problema de ajuste de pesos é reestruturado como um proble de fezibilidade convexa. O objetivo é localizar o vetor de pesos real $w^*$ dentro de uma região viável definida por restrições de preferência.
Oráculo de Separação: A região viável é estreitada iterativamente usando um oráculo de separação. O sistema propõe pares de trajetórias sintéticas $(\tau^+, \tau^-)$ a um oráculo (ex: um especialista humano). A decisão de preferência do oráculo define um hiperplano de restrição ( $s \cdot q^T w \geq 0$ ) que corta a região viável.
Trajetórias Sintéticas: Diferente de métodos que amostram de conjuntos de dados fixos, este framework constrói pares de trajetórias do zero para propor comparações arbitrárias do tipo "você prefere X ou Y". Isso garante que os pontos de consulta sejam ótimos para a redução de volume.
Métodos de Otimização: O artigo utiliza métodos de oráculo de separação existentes, especificamente o Método do Plano de Corte do Centro Analítico (ACCPM) e o Método do Centro Volumétrico. Esses métodos garantem convergência com $O(n \log \kappa)$ chamadas de oráculo, onde $n$ é a dimensão e $\kappa$ relaciona-se com o raio da região inicial e a tolerância de erro.

Principais Contribuições

Fluxo de Trabalho Guiado para Variáveis de Resultado: Um processo estruturado para destilar objetivos fundamentais de linguagem natural e derivar proxies mensuráveis, abordando questões de inobservabilidade e manipulação (gameability).
Seleção Formal de Termos de Recompensa: A redução da seleção de termos de recompensa a um problema de Cobertura Parcial de Custo Mínimo em um DAG causal. Isso transforma um processo manual heurístico em uma abordagem algorítmica ótima resolvida via fluxo máximo, garantindo termos de recompensa causalmente representativos e não redundantes.
Ajuste de Pesos Determinístico: O enquadramento geométrico do ajuste de pesos como um problema de fezibilidade convexa. Ao usar geração de trajetórias sintéticas e métodos de oráculo de separação, o framework produz uma região de pesos viável deterministicamente livre de conflitos. Ele atinge uma eficiência de consulta de preferência assintoticamente ótima ( $O(n \log \kappa)$ ) e um tempo de execução provavelmente ótimo.

Resultados e Alegações

O artigo não apresenta benchmarks empíricos em ambientes de RL específicos, mas sim fornece um framework teórico e provas algorítmicas.

Fezibilidade Livre de Conflitos: O método afirma ser a primeira abordagem de design de recompensa que mantém uma região de peso viável deterministicamente livre de conflitos durante todo o processo de iteração. Isso é alcançado construindo trajetórias sintéticas que garantem consistência, evitando as suposições de distribuição e os procedimentos de resolução de conflitos exigidos por métodos que utilizam conjuntos de dados fixos.
Otimalidade: A seleção de termos de recompensa é alegada como ótima por design (via redução de fluxo máximo), e o processo de ajuste de pesos herda a eficiência de consulta assintoticamente ótima dos métodos de centro volumétrico.
Abordagem de Modos de Falha: O framework visa explicitamente três modos de falha recorrentes no design de recompensa:
- Redundância: Mitigada pela seleção de cobertura causal.
- Reward Hacking: Mitigado pelo embasamento dos termos de recompensa em objetivos fundamentais elicitados, em vez de comportamentos intermediários moldados.
- Desalinhamento de Preferência: Mitigado pela construção de uma região de peso viável consistente.

Significância

Os autores posicionam este trabalho como um passo fundamental para permitir que não-especialistas em RL projetem e iterem sobre funções de recompensa. Ao formalizar a transição de descrições em linguagem natural para uma função de recompensa linear, o framework reduz a dependência de tentativa e erro de especialistas. O uso de oráculos de separação e geração de trajetórias sintéticas oferece uma alternativa rigorosa e determinística aos processos de consulta frequentemente não especificados ou bayesianos na literatura atual de RLHF. O artigo conclui que essa fundação principista apoia o desenvolvimento de sistemas interativos para o design automatizado de recompensas.