🤖 machine learning

Formulating Reinforcement Learning for Human-Robot Collaboration through Off-Policy Evaluation

Este artigo propõe um novo framework de aprendizado por reforço offline que utiliza a avaliação off-policy em dados de interação registrados para selecionar automaticamente representações de estado e funções de recompensa ideais para a colaboração humano-robô, eliminando, assim, a necessidade de interações custosas com o ambiente em tempo real e aumentando a escalabilidade do RL em aplicações críticas de segurança.

Autores originais: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

Publicado 2026-02-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a trabalhar ao lado de um humano, como um copiloto em uma cabine de comando ou um enfermeiro em um hospital. Para fazer isso, você precisa dar ao robô um "cérebro" (Aprendizado por Reforço) que aprende por tentativa e erro. Mas aqui está o problema: no mundo real, você não pode deixar o robô bater um avião ou ferir um paciente apenas para ver o que acontece. Isso é muito perigoso e caro.

Normalmente, para ensinar o robô, os humanos precisam gastar anos projetando manualmente os "sentidos" do robô (o que dados ele observa) e sua "motivação" (pelo que ele é recompensado). Se o robô falhar, você tem que adivinhar o porquê e começar de novo. É como tentar sintonizar um rádio girando o botão cegamente enquanto está em uma sala à prova de som.

Este artigo propõe uma maneira mais inteligente de sintonizar esse rádio sem nunca sair da sala.

A Grande Ideia: O Treinador de "Viagem no Tempo"

Os autores introduzem um método chamado Avaliação Off-Policy (OPE). Pense nisso como um "Treinador de Viagem no Tempo".

Em vez de deixar o robô praticar no mundo real, os pesquisadores pegam um enorme monte de registros antigos — gravações de como humanos e robôs interagiram no passado. Eles usam esses registros para simular milhares de diferentes cenários de "e se".

O Problema: Eles precisam descobrir qual conjunto de "sentidos" (Espaço de Estados) e qual conjunto de "regras de recompensa" (Função de Recompensa) farão do robô o melhor parceiro.
A Solução: Eles usam o Treinador OPE para olhar os registros antigos e dizer: "Se tivéssemos ensinado o robô usando este conjunto específico de sentidos e esta regra específica de recompensa, aqui está exatamente o quão bem ele teria se saído".

Isso permite que eles escolham a melhor receita de treinamento sem nunca arriscar uma única interação no mundo real.

Os Experimentos: Dois Diferentes Parquinhos

Para provar que isso funciona, eles testaram seu "Treinador de Viagem no Tempo" em dois ambientes muito diferentes.

1. O Lunar Lander (O Teste de Videogame)

Primeiro, eles usaram um videogame chamado Lunar Lander, onde um robô tem que pousar uma nave espacial na lua.

O Teste: Eles tentaram ensinar o robô com diferentes "sentidos". Uma versão via tudo (posição, velocidade, ângulo). Outra versão via "ruído" extra (dados falsos). Uma terceira versão via menos (sem dados de posição).
O Resultado: O Treinador olhou os registros e identificou corretamente que a "visão completa" era a melhor. Ele sabia que adicionar ruído falso confundia o robô, e que remover os dados de posição fazia com o robô colidir.
A Recompensa: Eles também testaram diferentes formas de dar pontos ao robô. Descobriram que o melhor sistema de recompensa não era apenas sobre pousar com segurança; era uma mistura de manter-se estável, usar combustível com sabedoria e pousar suavemente. O Treinador escolheu o vencedor instantaneamente, poupando-os de construir um novo robô para testar.

2. O NASA MATB-II (O Teste de Estresse Humano)

Em seguida, eles passaram para um cenário humano real usando uma simulação chamada MATB-II. Imagine um controlador de tráfego aéreo ocupado ou um piloto equilibrando quatro tarefas ao mesmo tempo:

Rastreamento: Manter um ponto em um alvo móvel.
Monitoramento: Observar medidores para alarmes.
Gestão de Recursos: Manter os tanques de combustível equilibrados.
Comunicações: Ouvir comandos de rádio.

Neste estudo, humanos trabalharam ao lado de um sistema de automação. Os pesquisadores queriam saber: Quais dados o robô deve usar para decidir quando ajudar?

Os Dados: Eles tentaram dar ao robô apenas dados da tarefa, apenas dados de frequência cardíaca, ou uma mistura de dados de tarefa, frequência cardíaca e níveis de estresse estimados.
A Descoberta: O "Treinador de Viagem no Tempo" determinou que o robô teve o melhor desempenho quando podia ver tudo: o que o humano estava fazendo, sua frequência cardíaca e seu nível de estresse. No entanto, descobriu que olhar apenas para os níveis de estresse não era suficiente; o robô precisava ver as tarefas reais também.
A Recompensa: Eles também testaram diferentes formas de recompensar o robô. Descobriram que um sistema de recompensa "equilibrado" (que punia ações ruins e recompensava ações boas) funcionou melhor para ensinar o robô a ser um parceiro prestativo.

O Teste do Mundo Real: Colocando o Robô para Trabalhar

Depois de usar o Treinador para escolher a melhor receita, eles realmente construíram o robô e o colocaram em uma sala com 19 voluntários humanos. Eles compararam três tipos de ajudantes:

O Robô Baseado em Regras: Segue um manual estrito (ex: "Se o humano estiver estressado, assuma a Tarefa A").
O Robô RL Padrão: Aprendeu a partir dos registros usando a melhor receita encontrada pelo Treinador.
O Robô RL Ajustado: Aprendeu a partir dos registros e, depois, tentou ajustar seu comportamento em tempo real com base no humano específico com quem estava trabalhando.

Os Resultados:

O Robô RL Padrão foi o mais consistente. Foi o melhor em rastrear alvos móveis e monitorar alarmes. Ele fez os humanos se sentirem menos estressados e construiu a maior confiança. Era como um copiloto confiável e calmo que sabia exatamente quando intervir.
O Robô Baseado em Regras foi razoável para tarefas simples, mas teve dificuldades quando as coisas ficaram caóticas.
O Robô Ajustado foi interessante. Foi o melhor na tarefa de "Comunicações" (ouvir comandos de rádio) porque se adaptou perfeitamente àquela pessoa específica. No entanto, quando a carga de trabalho ficava pesada, tornava-se um pouco imprevisível. Era como um copiloto que é ótimo para conversar, mas às vezes esquece de vigiar o medidor de combustível quando as coisas ficam loucas.

A Conclusão

O artigo conclui que você não precisa bater alguns foguetes ou estressar alguns pilotos para descobrir como construir uma boa equipe de robôs. Ao usar a Avaliação Off-Policy, você pode olhar para dados antigos, simular milhões de cenários de treinamento e escolher os "sentidos" e a "motivação" perfeitos para o seu robô antes mesmo de ligá-lo.

Isso torna a construção de equipes humano-robô seguras e eficazes muito mais rápida, barata e segura. Transforma o processo de "adivinhar e testar" em uma ciência precisa e orientada por dados.

Resumo Técnico: Formulando Aprendizado por Reforço para Colaboração Humano-Robô através de Avaliação Off-Policy

1. Definição do Problema

O Aprendizado por Reforço (RL) possui um potencial significativo para otimizar a tomada de decisão sequencial em ambientes dinâmicos, particularmente na interação humano-robô (HRI). No entanto, a implementação de RL em configurações do mundo real e críticas à segurança (ex: saúde, aeroespacial, direção autônoma) enfrenta barreiras substanciais. As abordagens tradicionais de RL dependem fortemente de interações online extensas, tentativa e erro, e conhecimento especializado para definir representações de estado e funções de recompensa eficazes. Esse processo é frequentemente dispendioso, demorado e inseguro.

Embora o Aprendizado por Reforço Offline (ORL) mitigue a necessidade de interação em tempo real ao treinar com dados pré-coletados, um desafio crítico permanece: selecionar espaços de estados e funções de recompensa ideais sem experimentação online. Além disso, garantir que políticas treinadas offline sejam seguras e eficazes em cenários dinâmicos de equipe humano-robô requer métodos de avaliação robustos que não necessitem de nova implantação no mundo real.

2. Metodologia

Os autores propõem um novo framework que utiliza a Avaliação Off-Policy (OPE) para selecionar sistematicamente representações de espaço de estado e funções de recompensa ideais utilizando apenas dados de interação registrados. Esta abordagem elimina a necessidade de acesso ao ambiente em tempo real ou feedback humano no ciclo (human-in-the-loop) durante a fase de design.

2.1 Seleção de Espaço de Estado via OPE

O framework avalia múltiplas representações candidatas de espaço de estado ( $S_1, S_2, ..., S_K$ ) derivadas de conhecimento de domínio ou seleção de características.

Treinamento Offline: Um agente de RL offline (especificamente, Constrained Q-Learning, CQL) é treinado para cada espaço de estado candidato usando o conjunto de dados registrado.
Estimativa OPE: Um estimador OPE (utilizando métodos como Importance Sampling, Direct Method ou Fitted Q-Evaluation) estima o retorno esperado de cada política treinada sem interação online.
Seleção: O espaço de estado ideal ( $S^*$ ) é selecionado com base no retorno estimado pelo OPE mais alto, ranqueando efetivamente as representações pela sua capacidade de induzir políticas de alto desempenho.

2.2 Seleção de Função de Recompensa via OPE

O framework avalia similarmente funções de recompensa candidatas ( $r_1, r_2, ..., r_M$ ) ao avaliar sua capacidade de distinguir entre políticas de alto e baixo desempenho.

Avaliação de Política: Políticas pré-definidas de alto desempenho ( $\pi^+$ ) e baixo desempenho ( $\pi^-$ ) são avaliadas sob cada função de recompensa candidata usando OPE.
Métricas de Separação: A eficácia de uma função de recompensa é quantificada pela divergência entre os retornos estimados de $\pi^+$ $π^{+}$ e $\pi^-$ $π^{-}$ . Os autores utilizam:
- Diferença de retorno médio ( $\Delta V$ ).
- Divergência de Kullback-Leibler (KL).
- Divergência de Jensen-Shannon (JS).
Seleção: A função de recompensa ideal ( $r^*$ ) é aquela que maximiza a separação entre boas e más políticas, garantindo um sinal de aprendizado forte.

3. Validação Experimental

A metodologia proposta foi validada em dois ambientes distintos:

3.1 Configuração Controlada: OpenAI Gym Lunar Lander

Objetivo: Avaliar a capacidade do framework para selecionar espaços de estado e funções de recompensa em um ambiente controlado.
Resultados do Espaço de Estado: Três candidatos foram testados: o original ( $S_{orig}$ ), expandido com ruído ( $S_{more}$ ) e reduzido ( $S_{less}$ ). O OPE identificou corretamente o $S_{orig}$ como a representação ideal, demonstrando que a expansão desnecessária de características degrada o desempenho, enquanto a compressão excessiva omite informações críticas.
Resultados da Função de Recompensa: O framework identificou com sucesso uma função de recompensa de linha de base que incorpora recompensas baseadas em estado, ação e termo final como superior às alternativas (ex: apenas termo final ou apenas ação). A função selecionada exibiu a maior divergência JS, confirmando sua capacidade de fornecer sinais de aprendizado eficazes.

3.2 Configuração do Mundo Real: Estudo com Sujeitos Humanos NASA-MATB-II

Objetivo: Avaliar a aplicabilidade à equipe humano-robô usando dados de uma simulação de Bateria de Tarefas de Múltiplos Atributos-II (MATB-II) envolvendo nove participantes sob variadas condições de carga de trabalho.
Seleção de Espaço de Estado: Os candidatos incluíram combinações de dados de tarefas, dados fisiológicos (frequência cardíaca, respiração) e carga de trabalho estimada.
- Resultado: O espaço de estado multimodal ( $S_{task+physio+wl}$ ) gerou o retorno OPE mais alto. No entanto, análises posteriores indicaram que os dados de carga de trabalho forneceram benefício marginal quando os dados de tarefa e fisiológicos estavam presentes. Consequentemente, o $S_{task+physio}$ foi selecionado como a representação preferida, equilibrando desempenho com eficiência computacional.
Seleção de Função de Recompensa: Três funções de recompensa foram testadas: penalizando comportamento ruim ( $r_1$ $r_{1}$ ), recompensando comportamento bom ( $r_2$ $r_{2}$ ) e uma soma ponderada ( $r_3$ $r_{3}$ ).
- Resultado: A soma ponderada ( $r_3$ ) foi selecionada como ideal, apresentando as maiores divergências KL e JS, indicando a melhor separação entre os desempenhos das políticas.

3.3 Validação Online com Sujeitos Humanos

Um estudo subsequente aprovado pelo IRB com 19 participantes comparou três agentes:

Baseado em Regras (RB): Regras pré-definidas que ativam a automação durante a sobrecarga.
Agente de RL: Treinado offline usando o espaço de estado e a função de recompensa selecionados via OPE.
Ajuste Fino de RL (RLFT): O agente de RL que passou por ajuste fino via interação em tempo real.

Principais Descobertas:

Desempenho da Tarefa: O agente de RL demonstrou o desempenho mais consistente em tarefas de rastreamento e monitoramento de sistema, superando significativamente o RB e o RLFT em tempos de resposta e taxas de falha sob cargas variáveis. O agente RLFT destacou-se na tarefa de comunicação, mas mostrou instabilidade no gerenciamento de recursos e maiores taxas de falha sob sobrecarga.
Confiança e Carga de Trabalho: O agente de RL recebeu as classificações de confiança mais altas e resultou na menor carga de trabalho percebida e maior fluência. Por outro lado, o RLFT, apesar de receber pontuações de confiança pós-teste elevadas quanto à confiabilidade, induziu a maior carga de trabalho subjetiva e frustração, sugerindo que o ajuste fino em tempo real pode introduzir imprevisibilidade e estresse cognitivo.
Frequência de Automação: O agente de RL utilizou automação seletiva e bem cronometrada, enquanto o RLFT frequentemente automatizava demais ou de menos dependendo da tarefa, levando a um desempenho inconsistente.

4. Principais Contribuições

Framework de Design Baseado em OPE: A introdução de um framework que utiliza a Avaliação Off-Policy para selecionar espaços de estado e funções de recompensa ideais a partir de dados registrados, contornando a necessidade de interações em tempo real dispendiosas.
Otimização Baseada em Dados: Um método para otimizar formulações de RL tanto para ambientes controlados (Lunar Lander) quanto para cenários complexos de interação humano-robô (NASA-MATB-II) através da avaliação sistemática de configurações candidatas.
Validação Empírica: Demonstração de que a seleção baseada em OPE leva a agentes de RL que superam as linhas de base baseadas em regras e variantes de ajuste fino em termos de adaptabilidade, confiabilidade e confiança do usuário em ambientes multitarefa e de segurança crítica.

5. Significância e Alegações

O artigo alega que este trabalho aumenta a viabilidade e a escalabilidade do RL offline para ambientes do mundo real ao automatizar decisões críticas de design. Ao reduzir a dependência de tentativa e erro e interações online, o framework oferece uma abordagem mais confiável, eficaz e sustentável para formular RL para configurações complexas de HRI.

Os autores enfatizam um compromisso crítico observado em seus resultados: embora a personalização através de ajuste fino (RLFT) possa melhorar o alinhamento com tarefas específicas, ela pode comprometer a estabilidade do sistema e aumentar a carga cognitiva. Portanto, a abordagem offline baseada em OPE oferece uma alternativa robusta que equilibra adaptabilidade com previsibilidade. O trabalho sugere que, para domínios de segurança crítica, garantir a avaliação robusta de políticas antes da implantação via OPE é essencial, e que integrar dados fisiológicos nas representações de estado pode melhorar significamente o desempenho da equipe humano-robô sem os riscos associados a experimentos extensivos online.