Resumo Técnico: Fundamentos de Aprendizado de Recompensa Inversa e Modelos de Escolha Discreta Dinâmica

1. Definição do Problema

O artigo aborda o problema de Aprendizado de Recompensa Inversa (IRL) no cenário offline: dado um conjunto de dados fixo de tuplas estado-ação-próximo-estado geradas por uma política especialista $\pi^*$, é possível recuperar a função de recompensa $r$ que o especialista estava otimizando?

Este problema situa-se na interseção de duas literaturas distintas:

1. Econometria Estrutural (Escolha Discreta Dinâmica - DDC): Modela agentes maximizando utilidade somada a choques idiossincráticos distribuídos como Gumbel.
2. Aprendizado de Máquina (IRL com Regularização de Entropia): Modela agentes maximizando o retorno esperado somado a um bônus de entropia (Máxima Entropia IRL).

O desafio central é a identificação: sem estrutura adicional, a função de recompensa não é unicamente recuperável a partir do comportamento devido à invariância de modelagem baseada em potencial (Ng et al., 1999). Além disso, os métodos existentes enfrentam um "trilema" de compensações envolvendo escalabilidade, a necessidade de estimar o núcleo de transição e estabilidade (a "tríade mortal").

2. Fundamentos Metodológicos

2.1 Equivalência entre DDC e MaxEnt-IRL

O artigo estabelece primeiro uma equivalência rigorosa entre as duas comunidades.

• Formulação DDC: Agentes escolhem ações para maximizar $r(s,a) + \epsilon_{t,a}$, onde $\epsilon$ segue uma distribuição de Valor Extremo Tipo-1 (Gumbel).
• Formulação MaxEnt-IRL: Agentes maximizam o retorno esperado mais um termo de entropia $\lambda H(\pi)$.
• Resultado: Sob uma normalização de média zero para os choques de Gumbel ($\delta = -\gamma_E$) e definindo o coeficiente de entropia $\lambda=1$, ambas as formulações produzem exatamente a mesma política softmax e a equação de Bellman suave (soft Bellman):
  $$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$$
  $$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$$
  Isso prova que os modelos probabilísticos são estatisticamente indistinguíveis de observações offline.

2.2 Limites de Identificação

O artigo analisa o que pode ser recuperado apenas a partir do comportamento:

• Não-Identificação: Sem suposições adicionais, $r$ é identificável apenas até um potencial dependente do estado $\Phi(s)$. Especificamente, $r$ e $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ induzem a mesma política ótima.
• A Suposição da Ação-Âncora (Magnac & Thesmar, 2002): Para resolver isso, o artigo adota a suposição econométrica clássica de que para cada estado $s$, existe uma ação "âncora" conhecida $a_s$ com uma recompensa conhecida $r(s, a_s) = 0$ (ou constante conhecida). Esta suposição fixa o potencial e permite a identificação única de $Q^*$ e $r$ no suporte do especialista.

3. Revisão de Abordagens Existentes e Suas Limitações

O artigo faz um levantamento de métodos clássicos e modernos, destacando seus modos específicos de falha:

3.1 Métodos Clássicos de DDC

• Nested Fixed-Point (NFXP) de Rust: Resolve a equação de Bellman em um loop interno enquanto maximiza a verossimilhança em um loop externo.
  • Limite: Sofre com a maldição da dimensionalidade no espaço de estados $S$ e requer conhecimento explícito ou estimativa do núcleo de transição $P$.
• Hotz-Miller / Probabilidades de Escolha Condicional (CCP): Inverte o softmax para encontrar diferenças de $Q$ e resolve uma equação de ponto fixo linear para a função de valor.
  • Limite: Requer a estimativa do núcleo de transição $P$ (maldição estatística da dimensionalidade) e sofre de propagação de erro em simulações de avanço (forward simulation).
• Abordagens de Diferença Temporal (TD) (Adusumilli & Eckardt, 2019):
  • Semi-Gradiente TD Linear: Evita o $P$ explícito, mas sofre da tríade mortal (aproximação de função + bootstrapping + dados off-policy), levando à divergência.
  • Iteração de Valor Aproximada (AVI): Mais estável, mas converge para um ponto fixo projetado, que pode diferir do verdadeiro $Q^*$ se a verdadeira função de valor não for realizável na classe de funções.
  • Nota: "Redes alvo" (comuns em deep RL) estabilizam a trajetória, mas não mudam o destino; elas ainda convergem para o ponto fixo projetado, não para o valor real.

3.2 Métodos Modernos de IRL

• Adversarial IRL (AIRL): Usa um discriminador para separar a recompensa do potencial de modelagem (shaping potential).
  • Limite: Identifica a vantagem suave $A^*(s,a) = \log \pi^*(a|s)$, não a recompensa diretamente. A recuperação da recompensa exige suposições restritivas (dinâmicas determinísticas, recompensas dependentes apenas do estado, grafos de transição decomponíveis) que são frequentemente violadas na prática.
• Correspondência de Ocupação (GAIL): Minimiza a divergência entre as medidas de ocupação do especialista e da política.
  • Limite: É um algoritmo de imitação, não de recuperação de recompensa. Não impõe consistência de Bellman ponto a ponto, tornando a extração de recompensa impossível sem suposições adicionais.
• IQ-Learn: Parametriza $Q$ diretamente e define uma recompensa via equação de Bellman.
  • Limite: O objetivo é invariante sob deslocamentos dependentes apenas do estado; não identifica uma recompensa única sem uma normalização externa (como a ação âncora).
• ML-IRL Offline (Zeng et al., 2023): Uma re-parametrização neural de Hotz-Miller com penalidades de conservadorismo.
  • Limite: Herda a necessidade de estimativa do núcleo de transição e loops de otimização aninhados.

4. Método Proposto: O Framework ERM (GLADIUS)

O artigo propõe um framework unificado de Minimização de Risco Empírico (ERM) que sintetiza o poder de identificação do DDC com a escalabilidade do ML moderno, evitando as armadilhas de ambos.

4.1 Insight Central

Em vez de parametrizar $r$ e resolver um problema de avanço aninhado, o método parametriza $Q$ diretamente. As condições de identificação são traduzidas em duas funções de perda:

1. Log-Verossimilhança Negativa (NLL): Garante que o softmax de $Q$ corresponda à política especialista $\pi^*$. Isso identifica as diferenças dentro do estado de $Q$.
2. Perda de Bellman Âncora: Impõe a equação de Bellman apenas na ação âncora $a_s$ onde a recompensa $r(s, a_s)$ é conhecida. Isso fixa o nível de $Q$ por estado.

4.2 O Viés de Dupla Amostragem e Correção

Uma perda de Bellman empírica ingênua usando erros de TD ao quadrado é enviesada devido ao problema da dupla amostragem (a variância do próximo estado não desaparece com mais dados).

• Correção: O artigo deriva uma formulação minimax que subtrai o termo de variância condicional.
  $$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$$
  Aqui, $\zeta(s,a)$ atua como uma função auxiliar que aprende a média condicional $\mathbb{E}[V_Q(s') | s, a]$. Esta correção elimina a necessidade de estimar explicitamente o núcleo de transição $P$.

4.3 Algoritmo: GLADIUS

O algoritmo GLADIUS (Gradient-based Learning with Ascent–Descent for Inverse Utility learning from Samples) alterna entre:

1. Passo de Regressão (Ascensão/Descida): Atualiza $\zeta$ para minimizar o erro quadrático contra $V_Q(s')$.
2. Passo de Otimização (Descida): Atualiza $Q$ para minimizar o NLL mais o resíduo de Bellman da âncora corrigido pelo viés.

4.4 Garantias de Convergência

O artigo estabelece convergência sob suposições de geometria Polyak-Lojasiewicz (PL), em vez de convexidade.

• Suposições: Realizabilidade de $Q^*$ e $\zeta^*$ nas classes de funções, e condicionamento do Jacobiano de saída empírica (semelhante às condições de Kernel de Tangente Neural).
• Resultado: O algoritmo converge para o mínimo global do risco empírico com uma taxa de $O(1/T)$ para otimização e $O(1/\sqrt{N})$ para erro estatístico.

5. Contribuições Principais e Significância

1. Unificação: Prova a equivalência formal entre as formulações DDC e MaxEnt-IRL, aproximando a econometria e o aprendizado de máquina.
2. Clareza de Identificação: Esclarece que métodos adversariais modernos (AIRL) não resolvem inerentemente o problema de identificação de recompensa sem suposições estruturais fortes e muitas vezes irreais. Reafirma a suposição da ação-âncora como o caminho robusto para identificar recompensas estado-ação.
3. Estimativa Livre de Transição: Introduz um objetivo minimax com correção de viés que recupera $Q^*$ e $r$ sem estimar o núcleo de transição $P$, superando a maldição estatística da dimensionalidade inerente ao CCP e NXP.
4. Estabilidade: Evita a divergência da "tríade mortal" dos métodos TD off-policy através da formulação de um problema de minimização de risco empírico direto e corrigido pelo viés sobre $Q$.
5. Solução Algorítmica: Apresenta o GLADIUS, um estimador baseado em gradiente de passo único que evita os loops de otimização aninhados dos métodos clássicos de DDC, mantendo garantias teóricas de convergência sob suposições padrão de superparametrização.

O artigo conclui que esta abordagem ERM oferece uma rota principiada, escalável e estatisticamente consistente para o IRL/DDC offline, combinando o rigor de identificação da econometria estrutural com a eficiência computacional do aprendizado moderno baseado em gradiente.