Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

Resumo Técnico: Quantificação da Possível Ausência de Observações em Aprendizado por Reforço Inverso

Declaração do Problema
O Aprendizado por Reforço Inverso (IRL) infere funções de recompensa a partir de demonstrações de especialistas para modelar comportamentos de tomada de decisão. Embora variantes do IRL tenham sido desenvolvidas para lidar com crenças subjetivas, planejamento imperfeito e objetivos em mudança, uma questão crítica frequentemente negligenciada em conjuntos de dados do mundo real (particularmente na área da saúde) é a ausência de observações. Em muitos cenários, os dados registrados carecem de observações que estavam disponíveis para o tomador de decisão original no momento da ação.

Quando tais informações estão ausentes, as ações de especialistas podem parecer subótimas para um algoritmo padrão de IRL, levando a inferências de recompensa enganosas. Por exemplo, se a decisão de um clínico depende de um biomarcador não registrado, o IRL padrão pode concluir que o clínico está agindo de forma subótima ou que a função de recompensa é inconsistente, em vez de reconhecer que a decisão foi ótima dado o contexto não observado. O artigo postula que, em vez de tentar imputar dados ausentes ou recuperar os valores exatos faltantes, é mais valioso quantificar a extensão mínima de ausência necessária para explicar o comportamento observado como ótimo.

Metodologia: IRL de Perturbação Mínima (MP-IRL)
Os autores propõem o MP-IRL, um framework de duas fases projetado para encontrar a menor perturbação nas observações registradas necessária para alinhar as ações de especialistas com uma política ótima.

1. Formulação do Problema:

   • O cenário assume um conjunto de dados comportamentais $D = \{x_{nt}, a_{nt}\}$, onde $x_{nt}$ são estados registrados e $a_{nt}$ são ações. O estado verdadeiro inclui componentes não registrados $\tilde{x}_{nt}$.
   • Em vez de modelar a dinâmica dos dados ausentes, o método introduz um fator latente estático $z_n$ para cada trajetória $n$, representando o contexto ausente.
   • O objetivo é minimizar a magnitude desses fatores latentes $\{z_n\}$ sujeito à restrição de que as ações dos especialistas são próximas do ótimo sob uma função de recompensa $r_\theta(z_n, x_{nt}, a_{nt})$.
   • Para garantir que a magnitude de $z_n$ seja significativa, os autores parametrizam a recompensa usando funções de kernel. A recompensa é a soma de uma recompensa base compartilhada $\bar{r}_\theta(x_{nt}, a_{nt})$ e um termo de perturbação específico da trajetória definido por centros de kernel $\mu_k$ e coeficientes $z_n$. O tamanho da ausência é medido pela norma $\ell_1$ dos coeficientes $\|z_n\|_1$.

2. Algoritmo (Otimização em Duas Fases):

   • Fase 1 (IRL Base): O algoritmo executa IRL padrão apenas nos dados registrados (definindo todos $z_n = 0$). Isso extrai a melhor função de recompensa base possível $\bar{r}_\theta$ que explica o comportamento sem qualquer contexto ausente.
   • Fase 2 (MP-IRL): Os parâmetros da recompensa base são congelados. O algoritmo então otimiza a rede crítica e os coeficientes latentes específicos da trajetória $z_n$ (e opcionalmente os centros de kernel $\mu$).
   • Regularização: A função objetivo na Fase 2 inclui penalidades de esparsidade (normas $\ell_1$ e $\ell_2$ sobre $z_n$) para impor o princípio de "perturbação mínima". Isso garante que as variáveis latentes expliquem apenas a variância que a recompensa base não consegue, impedindo que o modelo sofra overfitting ou explique o comportamento através de alterações arbitrárias na estrutura compartilhada da recompensa.

Principais Contribuições

• Conceitual: O artigo introduz uma nova perspectiva sobre a ausência no IRL: quantificar o contexto não observado mínimo necessário para tornar as ações observadas aparentes como ótimas, em vez de tentar recuperar os dados ausentes em si.
• Técnica: O desenvolvimento do MP-IRL, um algoritmo que formula isso como um problema de otimização restrita usando perturbações baseadas em kernel e um procedimento de treinamento em duas fases para separar a estrutura de recompensa compartilhada do contexto ausente específico da trajetória.
• Empírica: Demonstração de que a magnitude das perturbações aprendidas correlaciona-se com a quantidade de informações ausentes e de que o método pode localizar onde o contexto ausente é crítico (por exemplo, regiões específicas de decisão).

Resultados Experimentais
Os autores avaliam o MP-IRL em três tarefas contínuas sintéticas de navegação, um simulador de tratamento de câncer e um conjunto de dados do mundo real de gerenciamento de hipotensão em UTI (MIMIC-IV).

• Tarefas de Navegação: Em tarefas onde variáveis binárias ocultas determinam ações em regiões específicas de "decisão", o IRL padrão falha em corresponder às ações de especialistas dentro dessas regiões (precisão ~60%). O MP-IRL restaura a precisão para cerca de 98-99%. Crucialmente, o tamanho da perturbação aprendida ($\|z_n\|_1$) escala com a complexidade da informação ausente: tarefas que exigem um bit oculto geraram perturbações menores do que tarefas que exigiam dois bits ocultos independentes.
• Simulador de Câncer: O método foi testado com variados graus de mascaramento de características (de "todas as características" para "apenas tempo"). À medida que mais características foram ocultadas, o desempenho do IRL padrão degradou-se (menor precisão, maior Log-Verossimilhança Negativa). O MP-IRL manteve alta precisão, e o tamanho da perturbação necessária aumentou monotonicamente com a quantidade de informações ausentes (por exemplo, de 0,54 para 1,65 à medida que as características foram removidas).
• Tarefa de Hipotensão em UTI: Em dados clínicos reais, o MP-IRL melhorou significativamente a precisão de correspondência de ações sobre o IRL padrão (por exemplo, de ~55% para ~90%). O tamanho da perturbação permaneceu estável quando características de baixa previsibilidade foram adicionadas, indicando que a métrica reflete ausência relevante para a decisão, e não apenas o volume de dados observados.

Significado e Alegações
O artigo alega que o MP-IRL fornece uma ferramenta de diagnóstico para conjuntos de dados comportamentais. Ao quantificar a perturbação mínima necessária para explicar o comportamento de especialistas, os pesquisadores podem avaliar se a aparente subotimalidade em um conjunto de dados é devida a tomada de decisão pobre ou simplesmente a contexto clínico ausente.

• Utilidade Prática: Se a ausência potencial for substancial, isso sugere que tarefas subsequentes (como avaliação de política ou RL offline) devem ser abordadas com cautela ou que os processos de coleta de dados precisam de melhoria.
• Interpretabilidade: O método localiza a ausência em regiões específicas do espaço de estados (por exemplo, passos de tempo específicos no tratamento de câncer ou limites de decisão específicos na navegação), oferecendo insights sobre onde os dados registrados são insuficientes.
• Limitações: Os autores reconhecem que a representação baseada em kernel pode ter dificuldades em espaços de estados de dimensão muito alta devido aos requisitos de dados para otimizar kernels localizados.

O trabalho não alega recuperar os valores exatos ausentes, mas sim fornecer um limite quantitativo sobre a extensão da ausência necessária para manter a suposição de otimalidade do especialista.