🤖 machine learning

Subspace Inference Enables Efficient Active Reward Learning from Preferences

Este artigo introduz o PreferenceEKF, um método de aprendizado ativo com eficiência de amostra que utiliza o filtro de Kalman estendido dentro de um subespaço de parâmetros de baixa dimensão para permitir a quantificação de incerteza escalável para modelos de recompensa de redes neurais, melhorando, assim, a eficiência e o desempenho do aprendizado por reforço a partir de feedback humano.

Autores originais: Yutai Zhou, Erdem Bıyık

Publicado 2026-09-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yutai Zhou, Erdem Bıyık

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existe um desafio persistente conhecido como a "ineficiência de amostragem" do aprendizado a partir do feedback humano. Imagine ensinar um programa de computador complexo a se comportar de uma maneira que se alinhe aos valores humanos. O método mais poderoso disponível atualmente envolve pedir às pessoas que comparem dois resultados diferentes — como dois movimentos de um robô ou duas respostas escritas — e declarem qual delas preferem. Embora esse feedback seja fácil para os humanos fornecerem, ele é incrivelmente esparso; uma única preferência fornece apenas uma minúscula fração de informação. Para construir um modelo confiável do que os humanos desejam, um algoritmo deve fazer milhares dessas perguntas. Se o computador fizer as perguntas erradas, ele desperdiça tempo e dinheiro. Se fizer as perguntas certas, aprenderá muito mais rápido. A dificuldade reside em saber quais perguntas serão as mais informativas. Para fazer isso, o computador precisa entender o que ainda não sabe, um conceito chamado incerteza. No entanto, calcular essa incerteza para redes neurais massivas e modernas é notoriamente difícil e computacionalmente caro, muitas vezes exigindo o treinamento de dezenas de modelos separados apenas para obter uma estimativa aproximada.

Uma equipe de pesquisadores da Universidade do Sul da Califórnia desenvolveu uma nova abordagem para resolver esse gargalo, permitindo que os computadores aprendam com as preferências humanas com muito mais velocidade e eficiência. Eles introduziram um método chamado PreferenceEKF, que trata o processo de aprendizado de preferências como um problema de filtragem contínuo e passo a passo, em vez de um cálculo massivo e único. Em vez de tentar mapear todas as variações possíveis de uma rede neural gigante de uma só vez, os pesquisadores perceberam que o comportamento da rede poderia ser rastreado com precisão dentro de um espaço muito menor e de dimensão inferior. Ao focar seus cálculos nesse subespaço compacto, eles conseguiram usar uma ferramenta matemática clássica, o filtro de Kalman estendido, para atualizar a compreensão do modelo em tempo real conforme novas respostas chegavam. Essa técnica permitiu que eles gerassem milhares de versões diferentes do modelo de recompensa instantaneamente, sem o pesado custo computacional de treinar múltiplas redes independentes.

Os pesquisadores testaram seu método contra diversas técnicas existentes usando uma variedade de benchmarks padrão para controle robótico e tomada de decisão. Eles descobriram que sua abordagem não era apenas significativamente mais rápida — operando até quarenta vezes mais rápido do que algumas das alternativas mais avançadas — mas também mais precisa em suas previsões. Em experimentos onde o objetivo era aprender um modelo de recompensa a partir de um número limitado de comparações humanas, o novo método consistentemente aprendeu as preferências corretas usando menos perguntas do que os outros métodos. Além disso, os modelos produzidos foram melhor calibrados, o que significa que a confiança do computador em suas respostas correspondia mais de perto à precisidade real dessas respostas. Essa precisão é vital para o aprendizado ativo, onde o sistema deve decidir qual pergunta fazer a seguir; se o sistema estiver incerto, ele faz uma pergunta para resolver essa incerteza, e se estiver confiante, ele segue em frente. O novo método se destacou nesse equilíbrio, levando a modelos de recompensa que podiam treinar políticas robóticas para realizar tarefas complexas, igualando o desempenho de políticas treinadas com métodos muito mais caros e demorados.

Um dos aspectos mais impressionantes deste trabalho é como ele altera o fluxo de trabalho do treinamento desses sistemas. Os métodos tradicionais frequentemente exigem que o computador re-treine ou re-avalie toda a sua compreensão do mundo cada vez que recebe uma nova peça de feedback, um processo que se torna mais lento à medida que o sistema cresce. O novo método, por outro contrário, atualiza seu conhecimento sequencialmente, incorporando apenas a última informação recebida enquanto mantém uma estimativa contínua do que aprendeu até o momento. Isso permite que o sistema escale com eficiência, lidando com redes neurais maiores e gerando mais amostras de possíveis modelos de recompensa sem ficar sem memória ou tempo. Os pesquisadores também demonstraram que essa abordagem funciona mesmo começando sem dados iniciais, usando uma técnica de projeção aleatória para construir o subespaço necessário do zero, e mostrou-se promissora quando aplicada a tarefas baseadas em imagens, onde os dados de entrada são muito mais complexos do que números simples.

Embora o método mostre grande promessa, os pesquisadores fazem questão de notar seus limites. A estrutura matemática que utilizaram assume que as preferências aprendidas provêm de uma fonte única e consistente. Quando testaram o sistema com dados de múltiplos anotadores humanos que poderiam ter visões conflitantes, o método teve dificuldades para capturar a total complexidade dessas opiniões divergentes. Isso sugere que, embora a abordagem seja uma ferramenta poderosa para otimizar o processo de aprendizado, ela é mais adequada para cenários onde um conjunto único e coerente de preferências está sendo modelado. No entanto, os resultados indicam um avanço significativo para tornar a inteligência artificial mais adaptável à intenção humana. Ao tornar o processo de aprendizado a partir de feedback mais rápido e eficiente, este trabalho remove uma barreira importante para a implementação de sistemas inteligentes em ambientes do mundo real, desde recomendações personalizadas até robôs autônomos, onde o custo do tempo humano é alto e a necessidade de um aprendizado rápido e preciso é crítica.

Resumo Técnico: Inferência de Subespaço Permite Aprendizado Ativo de Recompensa Eficiente a partir de Preferências

Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) é uma técnica dominante para alinhar agentes com intenções humanas, porém sofre de baixa eficiência de amostragem. Como o feedback de preferência humana fornece, no máximo, um bit de informação por consulta, o aprendizado de um modelo de recompensa (RM) frequentemente requer milhares de comparações, o que não é escalável. O aprendizado ativo aborda isso selecionando consultas criteriosamente para maximizar o ganho de informação. No entanto, o aprendagem ativa eficaz requer uma quantificação de incerteza (UQ) robusta do modelo de recompensa.

Embora os métodos Bayesianos ofereçam uma representação de incerteza fundamentada, eles têm dificuldade em escalar para modelos de recompensa de redes neurais (NN) devido à intratabilidade computacional de realizar inferência posterior sobre espaços de parâmetros de alta dimensão. Por outro lado, alternativas populares como métodos de ensemble ou dropout são ou computacionalmente caras (exigindo o treinamento de múltiplos modelos independentes) ou fornecem aproximações de posterior pobres. O desafio central é desenvolver um método que permita o aprendizado ativo de subespaço escalável e eficiente em amostras para modelos de recompensa de redes neurais sem o overhead de treinamento de ensembles.

Metodologia: PreferenceEKF

Os autores propõem o PreferenceEKF, uma abordagem de eficiência de amostragem que enquadra o aprendizado de preferência ativo como um problema de filtragem Bayesiana sequencial. O método aproveita dois insights principais:

Filtragem Sequencial: Em vez de treinamento em lote (batch), o método atualiza o posterior da recompensa sequencialmente conforme novas consultas de preferência chegam, utilizando um Filtro de Kalman Estendido (EKF).
Inferência de Subespaço: Reconhecendo que as redes neurais são sobreparametrizadas e que as soluções frequentemente residem em um subespaço de baixa dimensão, o método realiza a inferência EKF dentro deste subespaço, em vez do espaço de parâmetros total.

Fluxo de Trabalho Técnico

Construção do Subespaço:
- Um conjunto de dados inicial é usado para executar o Gradiente Descendente Estocástico (SGD) por algumas iterações.
- As iterações de parâmetros resultantes são usadas para construir um subespaço de baixa dimensão. Isso é feito via Decomposição de Valor Singular (SVD) das iterações do SGD para obter uma matriz de projeção $A$ , ou alternativamente via projeções aleatórias.
- O espaço de parâmetros total $\theta$ é aproximado por um mapeamento afim $\theta(z) = Az + \theta^*$ , onde $z$ representa os parâmetros do subespaço de baixa dimensão ( $|z| \ll |\theta|$ ).
Filtragem Bayesiana Sequencial (EKF):
- O método trata os parâmetros da rede neural como estados ocultos evoluindo ao longo do tempo.
- Modelo de Dinâmica: Assume uma função identidade com ruído Gaussiano aditivo ( $p(\theta_i | \theta_{i-1}) = \mathcal{N}(\theta_i | \theta_{i-1}, U)$ ).
- Modelo de Medição: Utiliza o modelo de Bradley-Terry (BT) para prever rótulos de preferência dados pares de trajetórias. A verossimilhança BT é linearizada em torno da média posterior atual para se ajustar ao framework EKF.
- Passo de Atualização: Ao receber um novo par de consulta-resposta $(Q_i, y_i)$ , o EKF atualiza a distribuição posterior dos parâmetros de subespaço $z$ de forma fechada. O posterior permanece Gaussiano: $b_i = \mathcal{N}(\mu'_i, \Sigma'_i)$ .
Loop de Aprendizado Ativo:
- O método amostra um número arbitrário de modelos a partir do posterior do subespaço aprendido.
- Essas amostras são projetadas de volta para o espaço total para computar funções de aquisição. Os autores utilizam especificamente InfoGain (informação mútua entre o rótulo da consulta e os parâmetros do modelo) para selecionar a consulta mais informativa.
- Ao contrário dos métodos de ensemble que treinam em todos os dados, o PreferenceEKF atualiza apenas sobre a consulta mais recente, tornando-o computacionalmente eficiente.

Principais Contribuições

Primeiro Filtragem de Subespaço para Modelos de Recompensa de NN: O artigo afirma ser o primeiro a aproveitar a filtragem de subespaço para treinar modelos de recompensa de redes neurais a partir de feedback de preferência.
Inferência Bayesiana Escalável: Ao restringir a inferência a um subespaço de baixa dimensão, o método torna o Filtro de Kalman Estendido (EKF) tratável para redes neurais profundas, evitando a complexidade $O(|\theta|^2)$ de matrizes de covariância totais.
Computação Eficiente de Função de Aquisição: A capacidade de amostrar um número arbitrário de modelos a partir do posterior do subespaço permite a computação escalável de InfoGain, uma função de aquisição de estado da arte anteriormente restrita a modelos de baixa dimensão.
Sem Overhead de Treinamento de Ensemble: Diferente do DeepEnsembles, o PreferenceEKF não exige o treinamento de múltiplos modelos independentes, reduzindo significativamente o uso de memória e tempo de execução.

Resultados Experimentais

Os autores avaliaram o PreferenceEKF nos benchmarks D4RL e V-D4RL em 12 tarefas envolvendo locomoção MuJoCo, manipulação Adroit e navegação Maze2D. Eles compararam o método contra quatro baselines: DeepEnsemble, Dropout, Aproximação de Laplace e Last-Layer MCMC (LLMCMC).

Eficiência de Amostragem: O PreferenceEKF teve desempenho igual ou superior a todos os baselines de aprendizado profundo Bayesiano em termos de eficiência de amostragem e log-verossimilhança final em consultas de teste retidas.
Tempo de Execução e Escalabilidade:
- O PreferenceEKF alcançou aproximadamente 5x de aceleração em relação ao DeepEnsemble e mais de 40x de aceleração em relação ao LLMCMC.
- O método escala graciosamente tanto com o número de amostras do posterior ( $M$ ) quanto com o tamanho da arquitetura da rede neural, enquanto os baselines (especialmente ensembles) sofrem com restrições de memória ou problemas de escalonamento linear.
Calibração: O PreferenceEKF demonstrou calibração superior, alcançando o menor Erro de Calibração Esperada (ECE) entre todos os métodos e o segundo menor Brier score.
Otimização de Política: Quando os modelos de recompensa aprendidos foram usados para aprendizado por reforço offline (via Implicit Q-Learning), as políticas resultantes alcançaram desempenho competitivo com aquelas treinadas com modelos de recompensa de outros métodos, muitas vezes igualando ou superando ligeiramente a política de recompensa real (ground-truth).
Robustez: O método permaneceu eficaz mesmo sem um conjunto de dados de aquecimento inicial (usando projeções aleatórias) e mostrou promessa em cenários de feedback esparso (dados de robôs reais) e tarefas baseadas em pixels (usando embeddings de imagem pré-treinados).

Significância e Alegações

O artigo posiciona o PreferenceEKF como uma solução viável para escalar o aprendizado profundo Bayesiano para grandes modelos de recompensa de redes neurais em RLHF. Os autores afirmam que sua abordagem equilibra com sucesso a necessidade de quantificação de incerteza fundamentada com a tratabilidade computacional.

Eficiência: A principal contribuição é melhorar a eficiência de amostragem do aprendizado de recompensa baseado em preferência, reduzindo drasticamente o custo computacional de treinamento e inferência em comparação com métodos Bayesianos existentes.
Praticidade: O método permite o uso de funções de aquisição de alta dimensão como InfoGain para redes neurais, o que era anteriormente inviável.
Limitações: Os autores reconhecem modestamente que a suposição Gaussiana do EKF limita o método a configurações de anotador único (posteriors unimodais) e que estender o método para modelos de recompensa em escala de modelos de fundação (foundation models) ou distribuições de preferência multimodais (ex: diversos anotadores humanos) permanece um desafio em aberto. Eles também observam que, embora seus modelos de recompensa levem a políticas competitivas, a correlação direta entre o log-verossimilhança do modelo de recompensa e o desempenho final da política é complexa e não é garantido que seja melhorada apenas com um melhor aprendizado de recompensa.

Em conclusão, o artigo demonstra que a inferência de subespaço via EKF oferece uma alternativa escalável, eficiente e bem calibrada aos métodos de aprendizado profundo baseados em ensemble e outros métodos Bayesianos para aprendizado de recompensa ativo a partir de preferências humanas.