📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

Este artigo apresenta o LURE, o primeiro método para aprendizado por reforço offline com ações ocultas, que utiliza variáveis de próximo estado como proxies para permitir uma estimativa de valor de política multiplamente robusta e estatisticamente válida em processos de decisão de Markov de horizonte infinito.

Autores originais: Zeyu Bian, Ying Zhou, Yifan Cui

Publicado 2026-07-29

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zeyu Bian, Ying Zhou, Yifan Cui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a jogar um jogo complexo, como navegar em uma cidade ou gerenciar a saúde de um paciente. Você não faz o robô passar pelo jogo em tempo real; em vez disso, você lhe dá um enorme livro de registros de tentativas passadas feitas por um jogador humano. Este é o mundo do Aprendizado por Reforço (Reinforcement Learning - RL), um ramo da inteligência artificial onde os computadores aprendem por tentativa e erro para tomar as melhores decisões ao longo do tempo. O objetivo é geralmente descobrir: "Se seguíssemos um conjunto específico de regras (uma política) no futuro, quão bem nos sairíamos, com base neste antigo livro de registros?"

No entanto, há um problema. No mundo real, os livros de registros raramente são perfeitos. Às vezes, a pessoa que escreveu as notas cometeu um erro, ou o sistema que registrou os dados estava com falhas. Na linguagem deste artigo, a "ação" que o humano realmente tomou (como administrar um medicamento específico) pode estar oculta, e tudo o que vemos é um "proxy" ou um palpite ruidoso do que aconteceu (como uma nota médica que diz "administrou o remédio" quando, na verdade, não administrou, ou vice-versa). Se você tentar ensinar seu robô usando um livro de registros cheio desses erros, ele aprenderá lições erradas, levando a decisões ruins mais tarde. Este artigo aborda o problema complicado de como aprender efetivamente quando a parte mais importante da história — a ação verdadeira — está ausente ou disfarçada.

O Mistério da Jogada Ausente

No artigo intitulado "Learning from the Unseen" (Aprendendo com o Invisível), os autores Zeyu Bian, Ying Zhou e Yifan Cui enfrentam uma história de detetive onde a principal pista está faltando. Imagine que você é um detetive tentando resolver um crime olhando para um vídeo de segurança. Mas aqui está a reviravolta: o vídeo mostra a sombra do suspeito, não o próprio suspeito. Você consegue ver a sombra se mover, mas não sabe exatamente o que as mãos do suspeito estavam fazendo. No mundo da ciência de dados, isso é chamado de ter "ações ocultas".

Normalmente, quando cientistas tentam avaliar uma estratégia usando dados passados (um processo chamado Avaliação Off-Policy), eles assumem que o livro de registros é perfeito. Eles assumem que, se o registro diz "Ação A foi tomada", então a Ação A foi definitivamente tomada. Mas em cenários do mundo real desordenados — como registros hospitalares onde um médico pode anotar um tratamento horas depois, ou um sistema que acidentalmente rotula incorretamente o pressionar de um botão — essa suposição é uma armadilha. Se você ignorar os erros, sua avaliação da estratégia será tendenciosa, como julgar as habilidades culinárias de um chef com base em um menu que tem os ingredientes errados listados.

A Magia do Próximo Passo

A grande descoberta dos autores é perceber que, mesmo que você não consiga ver a "ação" diretamente, você muitas vezes pode ver sua sombra no momento seguinte.

Pense nisso desta forma: Se um mágico agita uma varinha (a ação oculta), você pode não ver a varinha claramente devido a uma mancha na câmera. Mas você pode ver o coelho aparecer no chapéu (o próximo estado). O coelho não apareceu do nada; ele apareceu por causa do movimento da varinha. Ao estudar a relação entre o "próximo estado" (o coelho) e a "nota ruidosa" (o vídeo manchado), os autores descobriram como reconstruir matematicamente o que o mágico realmente fez.

Eles chamam seu novo método de LURE (Learning from the Unseen: Robust Estimator - Aprendendo com o Invisível: Estimador Robusto). É como um detetive superinteligente que não olha apenas para a foto borrada do suspeito, mas também olha para as pegadas deixadas para trás e o relatório meteorológico para deduzir exatamente o que aconteceu.

Como o LURE Funciona: O Sistema de "Dupla Verificação" e o Kit de Ferramentas do Detetive

O artigo introduz uma maneira inteligente de estimar o valor de uma estratégia sem ser enganado pelos erros. Eles usam um conceito chamado Robustez Múltipla.

Imagine que você está tentando adivinhar a temperatura lá fora, mas seu termômetro está quebrado. Você tem outras três pistas: um cachorro molhado, uma árvore balançando e uma formação de nuvens.

Se o seu termômetro estiver quebrado, você ainda pode adivinhar corretamente se sua pista do "cachorro molhado" for precisa.
Se o cachorro estiver seco, mas a árvore estiver balançando, você ainda pode adivinhar corretamente.
O sistema é "robusto" porque não precisa que todas as pistas sejam perfeitas; ele só precisa que alguma combinação delas esteja correta.

O LURE funciona da mesma forma. Ele constrói um modelo matemático que verifica várias partes diferentes dos dados. Mesmo que o modelo para a "ação ruidosa" esteja ligeiramente errado, ou o modelo para o "próximo estado" esteja um pouco impreciso, o estimador ainda pode encontrar o valor real da estratégia, desde que pelo menos uma das outras partes esteja correta. Isso torna a resposta final muito mais confiável do que os métodos anteriores, que desmoronariam se apenas uma parte dos dados fosse desordenada.

Mas há uma complexidade oculta na forma como o LURE resolve esse quebra-cabeça. Como as ações verdadeiras nunca são vistas, o computador tem que adivinhar as probabilidades do que realmente aconteceu. Para fazer isso, os autores desenvolveram um algoritmo iterativo especial (baseado em um método chamado Expectativa-Maximização, ou EM). Pense nisso como um detetive que continua refinando sua teoria:

O Palpite (E-step): O computador começa com um palpite sobre quais foram as ações ocultas.
A Atualização (M-step): Usando esse palpite, ele atualiza seus modelos de como as ações levam a recompensas e próximos estados.
O Refinamento: Ele então usa esses modelos atualizados para fazer um palpite melhor sobre as ações ocultas e repete o ciclo até que a história faça sentido perfeito.

No entanto, há uma última reviravolta. Como o computador está adivinhando, ele pode acidentalmente trocar os rótulos. Ele pode decidir que a "Ação 0" é, na verdade, o "Medicamento" e a "Ação 1" é "Sem Medicamento", quando na realidade é exatamente o oposto. A matemática funciona de qualquer maneira, mas o significado é invertido. Para corrigir isso, os autores incluem uma etapa crucial de alinhamento de rótulos. Antes de dar a resposta final, o sistema verifica qual "palpite" faz mais sentido com os dados ruidosos (por exemplo, qual ação oculta é mais provável de resultar na nota observada "Medicamento"). Ele então inverte os rótulos, se necessário, para garantir que o relatório final corresponda à realidade.

Testando a Teoria

Os autores não apenas escreveram uma teoria; eles a colocaram à prova de três maneiras diferentes:

Simulações Simples: Eles criaram um mundo minúsculo e artificial (um "MDP Tabular") com apenas três estados e duas ações. Eles propositalmente bagunçaram os dados, rotulando incorretamente as ações de 5% a 30% das vezes. Enquanto outros métodos ficaram confusos e deram respostas erradas, o LURE permaneceu no alvo, adivinhando corretamente o valor da estratégia.
Simulações Complexas: Eles passaram para um mundo contínuo mais complexo (como um robô movendo-se em um espaço suave) e encontraram o mesmo resultado: o LURE lidou com os erros de forma graciosa, enquanto outros falharam.
Dados do Mundo Real: Eles testaram o LURE em um enorme banco de dados de registros reais de pacientes de um hospital (MIMIC-III), especificamente observando como tratar a sepse (uma reação potencialmente fatal à infecção). Neste cenário do mundo real, eles compararam o LURE com os métodos padrão. Os resultados foram impressionantes: os métodos padrão sugeriam que um tratamento era melhor que outro, mas o LURE, ao contabilizar os erros ocultos nos registros médicos, sugeriu um ranking diferente e mais confiável. De fato, os intervalos de confiança (a faixa de respostas prováveis) dos métodos padrão se sobrepunham tanto que não consegravam distinguir a diferença, enquanto o LURE forneceu uma resposta clara e distinta.

A Conclusão

O artigo conclui que ignorar ações ocultas é uma aposta perigosa. Ao usar o "próximo estado" como uma pista natural para descobrir a verdade, e ao construir um sistema que é robusto a erros em diferentes partes do modelo, podemos finalmente avaliar estratégias com precisão, mesmo quando nossos dados são imperfeitos.

Isso não é apenas uma vitória teórica; é uma ferramenta prática para o futuro. Seja decidindo sobre tratamentos médicos, gerenciando semáforos ou treinando agentes de IA, o LURE oferece uma maneira de aprender com o passado sem ser enganado pelo ruído. Os autores mostram que, com o trabalho de detetive matemático correto, podemos ver o invisível e tomar melhores decisões para o amanhã.

Resumo Técnico: Aprendendo com o Invisível: Aprendizado por Reforço Offline com Ações Ocultas

1. Formulação do Problema

Algoritmos padrão de Aprendizado por Reforço (RL) offline e Avaliação de Política Off-Policy (OPE) tipicamente assumem que as ações registradas no conjunto de dados são observadas sem erro. No entanto, em muitas aplicações do mundo real — particularmente em cuidados de saúde utilizando Registros Eletrônicos de Saúde (EHR) — as ações verdadeiras ( $A_t$ ) são não observadas (latentes). Em vez disso, apenas proxies ou substitutos ruidosos ( $\tilde{A}_t$ ) estão disponíveis devido a erros de anotação, atrasos no registro, sistemas de gestão imperfeitos ou o refinamento de dados para preservação de privacidade.

O artigo aborda o problema de avaliar uma política alvo $\pi$ em um Processo de Decisão de Markov (MDP) de horizonte infinito com desconto, onde o espaço de ações é parcial ou totalmente latente. O objetivo é estimar o valor da política $V(\pi)$ usando dados históricos gerados por uma política de comportamento $b$ , onde os dados observados consistem em trajetórias $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ em vez de $\{(S_t, A_t, R_t, S_{t+1})\}$ . Substituir ingenuamente o substituto observado $\tilde{A}_t$ pela ação verdadeira $A_t$ em métodos de OPE existentes leva a estimativas enviesadas, pois a função Q e as razões de densidade são definidas em relação à ação verdadeira latente.

2. Metodologia

2.1 Estratégia de Identificação

Os autores estabelecem que o valor da política $V(\pi)$ é identificável a partir da distribuição dos dados observados sob suposições específicas. A ideia central é alavancar o próximo estado ( $S'$ ) como um proxy natural para a ação não observada. Como a dinâmica de transição depende da ação verdadeira, $S'$ contém informações sobre a ação oculta que podem ser exploradas para identificação.

A identificação baseia-se em quatro suposições principais (Suposição 3.1):

Cobertura (Coverage): O suporte da política alvo está contido no suporte da política de comportamento.
Relevância: A recompensa $R$ , o substituto $\tilde{A}$ e o próximo estado $S'$ não são condicionalmente independentes da ação verdadeira $A$ dado o estado $S$ .
Independência Condicional: Dado a ação verdadeira $A$ e o estado $S$ , o substituto $\tilde{A}$ , a recompensa $R$ e o próximo estado $S'$ são mutuamente independentes.
Qualidade do Substituto: O substituto fornece mais informação do que um palpite aleatório (ex: para ações binárias, a probabilidade de observar $\tilde{A}=0$ é menor quando $A=1$ do que quando $A=0$ ).

Sob estas condições, os autores provam (Teorema 1) que $V(\pi)$ é unicamente identificado.

2.2 O Estimador LURE

Para estimar o valor, o artigo propõe o LURE (Learning from the Unseen: Robust Estimator). O estimador é construído com base em uma função de influência de dados observados derivada da função de influência eficiente de dados completos.

A função de influência $\phi_\pi(O)$ é definida como:
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
onde:

$\omega(S, a)$ é a razão de densidade marginal entre as políticas alvo e de comportamento.
$\theta_R(S, a)$ é a função de recompensa.
$M V^\pi(S, a)$ é o valor futuro esperado.
$g_a$ e $g'_a$ são funções construídas como estimadores "ponte" que substituem a função indicadora $\mathbb{I}(A=a)$ usando o substituto observado $\tilde{A}$ e o proxy do próximo estado $S'$ . Especificamente, são razões envolvendo as expectativas condicionais de $\tilde{A}$ e $S'$ dados $S$ e $A$ .

2.3 Procedimento de Estimativa (Algoritmo EM)

Como a ação verdadeira $A$ é latente, o aprendizado supervisionado padrão não pode ser aplicado diretamente para estimar as funções de incômodo ( $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ). Os autores propõem um novo algoritmo iterativo do tipo Expectation-Maximization (EM) (Algoritmo 2):

Inicialização: Inicializar a probabilidade posterior $\eta(O; a) = P(A=a | O)$ .
Passo M (Aprendizado Supervisionado Ponderado): Tratar a posterior $\eta$ como pesos conhecidos. Atualizar as funções de incômodo (política de comportamento, modelo de medição, modelos de recompensa/transição e razão de densidade) usando regressão ponderada ou otimização minimax ponderada (para a razão de densidade $\omega$ ).
Passo E (Atualização da Posterior): Atualizar a probabilidade posterior $\eta(O; a)$ usando a regra de Bayes e as estimativas de incômodo atualizadas.
Iteração: Repetir até a convergência.

Além disso, o artigo aborda o alinhamento de rótulos (label alignment), pois o algoritmo EM pode trocar arbitrariamente os rótulos das classes latentes (ex: mapear o verdadeiro $A=0$ para o componente 1). Um passo de alinhamento de rótulos é realizado pós-estimativa baseado na probabilidade condicional do substituto para garantir uma interpretação consistente.

2.4 Cross-Fitting

Para mitigar o viés de sobreajuste (overfitting) e controlar os restos do processo empírico, os autores utilizam um procedimento de K-fold cross-fitting. As funções de incômodo são estimadas em dobras de treinamento e avaliadas em dobras de teste (held-out).

3. Contribuições Teóricas Principais

Robustez Múltipla: O estimador LURE é multiplamente robusto. Como mostrado no Corolário 1, o estimador permanece consistente ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ) se pelo menos uma de várias combinações específicas de componentes de incômodo for corretamente especificada. Por exemplo, a consistência mantém-se se a ponte de recompensa $\theta_R$ for consistente junto com a regressão da ação latente $\theta_{\tilde{A}}$ ou a regressão do próximo estado $\theta_{S'}$ , desde que o erro do valor de continuação seja negligenciável.
Normalidade Assintótica: Sob condições de regularidade e taxas de convergência dos estimadores de incômodo (especificamente exigindo que o produto dos erros decaia mais rápido que $n^{-1/2}$ ), o estimador é assintoticamente normal (Teorema 4). Isso permite a construção de intervalos de confiança do tipo Wald válidos.
Limites de Erro: O artigo fornece limites de erro de amostra finita (Teorema 3) que decompõem o erro de estimativa em uma média da função de influência, um resto de seleção de rótulo e um segundo resto envolvendo produtos de erros de estimativa de incômodo.

4. Resultados Experimentais

Os autores avaliam o LURE através de simulações e uma aplicação no mundo real:

MDPs Tabulares e Gerais: Em ambientes sintéticos com taxas de erro de classificação variáveis ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ), os métodos padrão de OPE (SIS, FQE, LSTD, MIS, DRL) que ignoram a estrutura latente exibem um viés significativo que piora com maiores taxas de erro de classificação. O LURE permanece centrado em torno do verdadeiro valor da política.
OpenAI Gym (CartPole): Em um ambiente de estado contínuo, o LURE supera os baselines, mantendo taxas de cobertura precisas para os intervalos de confiança (próximas ao nível nominal de 95%), enquanto os baselines mostram viés substancial ou cobertura instável.
Análise de Sepse no MIMIC-III: O método é aplicado a um conjunto de dados de gestão de sepse. O estudo avalia três políticas: "Sempre IV", "Sem IV" e uma regra "ajustada ao SOFA".
- O LURE estima a política "Sempre IV" como tendo o menor escore SOFA esperado (62.10), sugerindo que esta é a política ótima.
- O intervalo de confiança de 95% para "Sempre IV" [60.16, 64.04] não se sobrepõe aos intervalos das outras políticas.
- Em contraste, o estimador DRL padrão produz intervalos de confiança sobrepostos para todas as políticas, falhando em distingui-las. Isso destaca que ignorar ações ocultas pode levar a conclusões empíricas enganosas em contextos clínicos.

5. Significância e Alegações

O artigo afirma ser o primeiro trabalho a estudar aprendizado por reforço offline no cenário de ações ocultas. Sua significância reside em:

Abordar uma Lacuna Crítica: Fornece um framework principiado para OPE quando os dados de ação são ruidosos ou latentes, um problema comum em estudos baseados em EHR que os métodos de RL padrão não conseguem lidar de forma confiável.
Rigor Teórico: Estabelece condições de identificação e deriva uma função de influência que considera a natureza sequencial do RL, distinguindo-se de frameworks de tratamento oculto estáticos.
Utilidade Prática: Ao demonstrar robustez múltipla e normalidade assintótica, o LURE permite inferência estatística válida (intervalos de confiança e testes de hipótese) em cenários onde métodos anteriores produziriam estimativas pontuais enviesadas.
Impacto no Mundo Real: A aplicação ao banco de dados MIMIC-III ilustra que considerar ações ocultas pode alterar fundamentalmente o ranking de políticas e as recomendações clínicas, sugerindo que as avaliações de RL padrão na saúde podem ser pouco confiáveis sem tais correções.

Os autores mantêm um tom modesto, observando que, embora o framework seja generalizável para ações categóricas, o presente trabalho foca em ações binárias para clareza, e o método depende da suposição específica de que o próximo estado serve como um proxy válido para a ação oculta.