Resumo Técnico: Quando a Recompensa Ensina o Estado? Um Instrumento de Autômato Oculto e a Fronteira entre Grupo e Linguagem

1. Declaração do Problema

Agentes de aprendizado por reforço (RL) frequentemente alcançam altas pontuações de recompensa sem necessariamente aprender o estado latente subjacente de sua tarefa. Em vez disso, eles podem aprender "atalhos correlacionados à recompensa" ou heurísticas que funcionam sob distribuições de treinamento específicas, mas falham ao generalizar quando a estrutura da tarefa muda (ex: horizontes mais longos, ruído ou mudanças de distribuição). Esse fenômeno, conhecido como erro de generalização de objetivo (goal misgeneralization), é difícil de diagnosticar porque o "estado verdadeiro" de uma tarefa é tipicamente indefinido ou não observável em benchmarks padrão.

A questão central abordada é: Um agente de alta recompensa representa o estado latente da tarefa ou está apenas explorando um atalho? Para responder a isso, o artigo propõe um framework onde o estado latente é um objeto exatamente conhecido e mensurável, permitindo que pesquisadores decouplen (desacoplem) o "sucesso de recompensa" do "aprendizado de estado".

2. Metodologia: O Instrumento de Autômato Oculto

Os autores introduzem um instrumento experimental de caixa branca baseado em Autômatos de Estados Finitos Determinísticos (DFAs) Ocultos sob Controle Parcial.

O Ambiente (PartialControlDFAEnv)

• Definição da Tarefa: A tarefa é definida por um DFA $M = (Q, \Sigma, \delta, q_0, F)$.
• Controle Parcial: Em um episódio de comprimento $T$, a cada passo, o agente escolhe o próximo símbolo com probabilidade $p_{control}$; caso contrário, o ambiente amostra o símbolo uniformemente.
• Observações: O agente observa o fluxo de símbolos emitidos, se o passo foi controlável e o tempo restante. Crucialmente, o agente nunca observa o estado oculto $q_t$.
• Recompensa: Esparsa e terminal. O agente recebe $r=1$ se o estado final $q_T \in F$ (estado de aceitação), e $0$ caso contrário.

O Oráculo e Sondas (Probes)

Como o autômato é conhecido pelo experimentador, duas capacidades críticas estão disponíveis "gratuitamente":

1. Oráculo Exato: O retorno ótimo alcançável $V(q, r)$ é computado via indução reversa. Isso permite que as recompensas brutas sejam normalizadas em um escore interpretável (0.0 a 1.0) comparável entre tarefas.
2. Sonda de Estado Latente Exata: O estado verdadeiro $q_t$ em cada passo é conhecido. Pesquisadores podem ajustar um classificador linear às características internas do agente para medir quão bem o agente representa o estado verdadeiro (o "gap da sonda").

Eixos de Diagnóstico

O instrumento mede o acoplamento entre sucesso de recompensa e aprendizado de estado ao longo de três eixos controláveis:

1. Força do Otimizador: Comparando otimizadores fracos (A2C) contra otimizadores mais fortes (PPO+GAE).
2. Estrutura da Tarefa: Especificamente, se o autômato exibe estrutura de grupo-linguagem (permutação), onde cada símbolo induz uma bijeção nos estados alcançáveis (sem fusão de estados).
3. Informatividade da Observação: O grau em que as observações revelam o estado latente, controlado via um parâmetro ajustável $\beta$ (coloração de estado).

3. Principais Contribuições

1. Metodologia de Mensuração: Uma receita para expressar qualquer tarefa aproximável por FSM como um DFA de controle parcial oculto. Isso gera um oráculo exato para normalização, uma sonda de estado exata para probing linear e um limite de capacidade supervisionada off-policy.
2. Instância de Benchmark (PartialControlDFAEnv): Uma taxonomia que separa autômatos diagnósticos (onde o rastreamento de estado é necessário) de outros triviais.
3. Acoplamento Dependente do Otimizador: Evidência de que o vínculo entre aprendizado de recompensa e estado é governado pela força do otimizador. Otimizadores fracos (A2C) frequentemente falham em instalar representações de estado latente, apesar de alcançarem recompensa, enquanto otimizadores mais fortes (PPO) melhoram esse acoplamento, embora a recuperação seja frequentemente parcial e de alta variância.
4. Distinção de Modos de Falha: O instrumento distingue entre:
   • Gap de Percepção: O agente não consegue recuperar o estado latente (sonda no nível do acaso), mesmo que ele seja representável.
   • Gap de Planejamento: O agente representa o estado (alta pontuação da sonda) mas falha em usá-lo para maximizar a recompensa.
5. Sinal de Aviso Estrutural: Identificação da estrutura de permutação (grupo-linguagem) como um sinal de aviso de alta precisão, pré-treinamento, para o gap de percepção. Isso é computável a partir da função de transição $\delta$ isoladamente, antes de qualquer treinamento.

4. Principais Resultados

Força do Otimizador e Recuperação de Estado

• Sob RL on-policy fraco (A2C), a sonda de estado permanece em níveis de acaso para todas as arquiteturas, inclusive aquelas (como GRUs) provadas terem a capacidade representacional para resolver a tarefa.
• A mudança para PPO+GAE melhora significativamente tanto a recompensa quanto a recuperação de estado. No entanto, a recuperação é frequentemente parcial (ex: gaps de sonda de ~0.20 vs. um teto de capacidade supervisionada de ~0.48–0.60) e apresenta alta variância entre sementes (seeds).
• Conclusão: A recompensa esparsa por si só é insuficiente para garantir o aprendizado de estado; a força do otimizador é o driver dominante do acoplamento recompensa-estado.

O Gap de Percepção e Linguagens de Grupo

• Autômatos de Permutação: Tarefas onde o autômato é uma permutação (linguagem de grupo) exigem que o agente "acumule" o estado sem esquecer (sem fusão de estados). Essas tarefas são significamente mais difíceis para RL de recompensa esparsa.
• Poder Preditivo: Um preditor baseado na conjunção de estrutura de permutação e baixo alavancagem de controle (o quanto o agente pode influenciar o estado) classifica perfeitamente a dificuldade in-sample.
• Validação em Dados Não Vistos: Em um conjunto de teste de 153 novos DFAs aleatórios, a estrutura de permutação previu o gap de percepção com precisão de 0.86 (89 de 103 autômatos de permutação exibiram o gap).
• Mineração do Mundo Real: Os autores mineraram DFAs ocultos de lógicas do mundo real (checksums) e logs de processos.
  • Checksums reais (ex: divisibilidade por 7) exibiram a estrutura de permutação e o gap de percepção.
  • Logs de processos reais (ex: compras, fluxos de trabalho clínicos) eram não-permutação e aprendíveis, sugerindo que o gap de percepção está presente em lógicas reais, mas não é o caso universal para fluxos de trabalho.

Sinais Auxiliares e Informatividade da Observação

• Auxiliares Sem Rótulos (Label-Free): Prever o próximo símbolo emitido é vago se as observações não carregam informação de estado ($\beta=0$). No entanto, assim que as observações revelam qualquer informação de estado ($\beta \ge 0.10$), um auxiliar sem rótulos recupera o estado latente e resgata o desempenho da recompensa.
• Auxiliares Privilegiados: Fornecer o estado verdadeiro como um auxiliar é quase inerte quando o aprendiz base (PPO) já recupera o estado, mas fornece ganhos significativos quando o aprendiz base falha (otimizadores fracos ou alta complexidade).

Planejamento vs. Percepção

O estudo identifica uma distinção crítica invisível à avaliação baseada apenas em recompensa:

• Gap de Planejamento: Um agente (ex: em ends_with_1000) possui uma alta pontuação de sonda de estado, mas baixa recompensa, indicando que ele conhece o estado, mas não consegue agir sobre ele.
• Gap de Percepção: Um agente (ex: em mined_ean) possui baixa recompensa e uma sonda no nível do acaso, indicando que ele nunca aprendeu o estado.
• Métricas comportamentais (gaps de recompensa) são quase descorrelacionadas com o estado recuperável, provando que alta recompensa não implica compreensão da tarefa.

5. Significância e Alegações

O artigo afirma que o sucesso da recompensa não é evidência de compreensão da tarefa. A capacidade de um agente (ou de um auxiliar barato) de recuperar o estado latente é previsível antecipadamente com base na estrutura do autômato.

• O "Gap de Percepção": O artigo estabelece que, para autômatos de permutação (linguagem de grupo), o RL de recompensa esparsa frequentemente falha em instalar a representação do estado latente, mesmo quando a arquitetura é capaz de tal feito. Este é um "gap de percepção" impulsionado por dificuldades de atribuição de crédito em espaços de estado não-fusíveis.
• O "Gap de Planejamento": Por outro lado, agentes podem aprender o estado, mas falham em utilizá-lo, um modo de falha distinto da percepção.
• Auditoria Acionável: A principal contribuição é o próprio instrumento. Ele permite que pesquisadores auditem qualquer tarefa de agente convertendo-a em um FSM oculto, fornecendo um oráculo exato e uma sonda de estado. Isso possibilita uma auditoria de "caixa branca" para determinar se um agente aprendeu a tarefa ou apenas um atalho.
• Correções Causais: O artigo demonstra que o gap de percepção pode ser fechado causalmente tornando o estado latente observável (adicionando emissões que revelam o estado) ou latente/retentivo (latchable) (adicionando ações de retenção controláveis), sem a necessidade de um preditor a priori perfeito.

Os autores observam que, embora o preditor estrutural seja de alta precisão para o gap de percepção, ele não é uma garantia de segurança para tarefas não-grupo (que são heterogêneas). Além disso, os achados são atualmente limitados a pequenos autômatos sintéticos e um port preliminar para agentes LLM, que reproduziram os eixos, mas ainda não produziram um gap de percepção limpo em larga escala. O instrumento é liberado para facilitar investigações futuras sobre a confiabilidade de agentes com estado.