Resumo Técnico: Estados de Crença Textuais para Modelos de Mundo

Declaração do Problema

Em ambientes de observação parcial, os modelos de mundo devem manter uma representação latente que resuma o histórico de interações para permitir predição, planejamento e raciocínio. Um desafio crítico em arquiteturas modernas baseadas em Large Language Models (LLMs) é o problema da identificabilidade. Em muitos designs existentes, o estado latente coexiste com outras fontes de informação (como o histórico completo de observações) que podem substituí-lo. Consequentemente, um modelo pode alcançar alta precisão preditiva ao "ignorar" o estado latente e confiar diretamente no histórico. Isso torna o estado latente não identificável; o desempenho preditivo deixa de restringir ou refletir a qualidade da representação aprendida.

Embora os modelos de mundo clássicos imponham uma mediação estrita do estado latente — exigindo que todas as predições dependam apenas do estado latente e da ação atual — aplicar esse princípio a configurações baseadas em texto é difícil. Estados latentes textuais são discretos e não diferenciáveis, o que impede o treinamento variacional padrão (ex: ELBO). Além disso, decodificadores de LLMs expressivos treinados com tais objetivos frequentemente ignoram o gargalo, levando ao colapso do posterior (posterior collapse). O artigo aborda o desafio de impor a mediação estrita no domínio textual para garantir que a qualidade da representação seja empiricamente testável e que o estado latente atue como um estatístico suficiente para o histórico.

Metodologia

1. Estados Latentes Textuais

Os autores propõem representar estados latentes como strings de texto discretas, interpretáveis e de comprimento variável (especificamente listas de predicado-argumento em formato JSON), em vez de vetores contínuos. Esta abordagem oferece quatro vantagens:

• Alinhamento: Combina-se com o backbone do LLM, evitando conversões de modalidade com perda de informação.
• Gargalo Adaptável: A capacidade escala com o conteúdo, em vez de dimensões fixas.
• Interpretabilidade: Os estados são diretamente inspecionáveis e podem ser avaliados contra fatos reais (ground-truth).
• Correspondência de Modalidade: As observações são texto semântico, portanto, estados textuais preservam a integridade estrutural.

2. Arquitetura do Modelo

O sistema utiliza um único modelo de linguagem autorregressivo pré-treinado com parâmetros compartilhados $\theta$ operando em três estágios distintos e definidos por prompts:

1. Codificação (Encoding): $\hat{s}_t \sim p_\theta(\cdot | h_t)$, gerando um estado latente a partir do histórico $h_t$.
2. Transição (Dinâmica): $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$, prevendo o próximo estado baseando-se apenas no estado latente atual e na ação.
3. Decodificação (Decoding): $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$, gerando a próxima observação a partir do novo estado latente.

Crucialmente, uma vez que $\hat{s}_t$ é gerado, os estágios de transição e decodificação não têm acesso ao histórico original $h_t$. Isso impõe a mediação estrita.

3. Treinamento via fGRPO (Factorized GRPO)

Como os estados textuais são não diferenciáveis, a otimização via gradiente através do espaço latente é impossível. Os autores tratam cada estágio de geração como uma política estocástica e otimizam usando Aprendizado por Reforço (RL).

• Limitação do GRPO Padrão: O GRPO padrão (Group Relative Policy Optimization) opera em uma continuação autorregressiva única, o que permitiria ao modelo acessar o histórico através do contexto do prompt compartilhado, violando a mediação estrita.
• Solução fGRPO: Os autores introduzem o fGRPO (Factorized GRPO), uma extensão estruturada em árvore. Para um determinado histórico, o modelo amostra $A$ candidatos a estados latentes, depois $B$ candidatos a próximos estados por codificação, e $C$ candidatos a observações por transição. Isso forma uma árvore onde as recompensas são computadas nas folhas (comparando a predição com as observações reais) e propagadas para cima. Essa estrutura garante que os passos de transição e decodificação sejam condicionados estritamente aos estados latentes amostrados, não ao histórico original.

4. Design de Recompensa

O sinal de recompensa combina precisão preditiva com regularização estrutural para incentivar estados compactos e suficientes:

• Precisão da Observação ($R_{obs}$): Pontuação F1 de nível de fato entre os fatos extraídos das observações previstas e das observações reais.
• Validade de Formato ($R_{fmt}$): Uma verificação binária garantindo que o estado latente seja uma estrutura JSON válida.
• Recompensas Auxiliares:
  • Suporte ($R_{sup}$): Incentiva a consistência entre a observação prevista e os fatos do estado subjacente.
  • Deduplicação ($R_{dedup}$): Penaliza fatos semanticamente redundantes.
  • Ablação ($R_{abl}$): Mede a fração de fatos cuja remoção degrada a predição, incentivando a retenção apenas da informação necessária.

Principais Contribuições

1. Formalização da Mediação Estrita: O artigo prova que, sob mediação estrita, a precisão preditiva ótima implica que o estado latente é um estatístico suficiente do histórico (Proposição 1). Inversamente, em arquiteturas "vazantes" (leaky) onde o bypass do histórico é permitido, a precisão ótima pode ser alcançada com um estado latente não informativo (Proposição 2).
2. Garantias Teóricas sobre Rollout: A mediação estrita alinha estruturalmente as condições de treinamento e inferência. Os autores mostram que isso evita o crescimento geométrico do erro observado em rollouts baseados em histórico ou vazantes, permitindo a propagação de erro limitada sob suposições de contração (Proposição 3).
3. Algoritmo fGRPO: A introdução do fGRPO, que permite treinar estados latentes textuais discretos e não diferenciáveis sob restrições de mediação estrita sem objetivos variacionais.
4. Validação Empírica: Experimentos em TextWorld e ScienceWorld demonstram que a mediação estrita produz representações que são tanto preditivas quanto identificáveis.

Resultados Experimentais

Os autores avaliaram sua abordagem contra três baselines:

• Sem Estado (Stateless): Prediz diretamente a partir do histórico (limite superior de precisão, sem representação explícita).
• Estado Vazante (LeakyState): Utiliza um estado latente textual, mas permite o bypass do histórico durante a predição.
• Estado Estrito com Embedding (StrictState-Emb): Utiliza mediação estrita, mas com embeddings contínuos (treinamento variacional).

Principais Descobertas:

• Precisão Preditiva: O StrictState-Text iguala a precisão de predição de um passo (obs.F1) dos baselines LeakyState e Stateless, confirmando que a mediação estrita não sacrifica o desempenho.
• Qualidade da Representação: Sob precisão preditiva equivalente, o StrictState-Text alcança um F1 de nível de estado significativamente maior (ganhos de até 57% em ScienceWorld e 30% em TextWorld para tarefas complexas) comparado ao LeakyState. Isso confirma que modelos vazantes aprendem estados não informativos que dependem do bypass do histórico.
• Estabilidade de Rollout: A mediação estrita melhora significativamente o desempenho de rollouts de múltiplos passos. Os ganhos em F1 de nível de estado aumentam com o horizonte de predição, atingindo 98% de melhoria no horizonte 9 em TextWorld. Isso valida a afirmação teórica de que a mediação estrita mitiga a propagação cumulativa de erro.
• Ablação: A remoção de recompensas auxiliares (deduplicação, ablação, suporte) degrada o desempenho de longo horizonte, indicando que esses componentes são críticos para aprender estados compactos e suficientes.

Significância e Alegações

O artigo afirma que a mediação estrita do estado latente é uma condição necessária para tornar a qualidade da representação empiricamente testável em modelos de mundo. Sem ela, a precisão preditiva é um indicador pobre da qualidade da representação porque o modelo pode "trapacear" acessando o histórico diretamente.

Ao implementar com sucesso a mediação estrita no domínio textual usando fGRPO, os autores demonstram que:

1. A identificabilidade é alcançável: É possível aprender estados latentes discretos e interpretáveis onde a qualidade da representação é diretamente diagnosticável através do desempenho preditivo.
2. Estados textuais são eficazes: Estados textuais de comprimento variável fornecem um gargalo mais flexível e interpretável do que embeddings de dimensão fixa para fatos composicionais e discretos.
3. A estabilidade é melhorada: A mediação estrita alinha o treinamento e a inferência, prevenindo o acúmulo de erro que prejudica rollouts de longo horizonte em arquiteturas vazantes ou sem estado.

Os autores observam que sua avaliação foca na qualidade da representação, e não no controle ou planejamento de downstream, e que os experimentos são limitados a ambientes sintéticos e instrumentados (TextWorld e ScienceWorld). Eles reconhecem limitações estruturais, como o ônus da compressão recaindo inteiramente sobre um codificador de disparo único (single-shot) e a dependência de extração de fatos estruturados para recompensas auxiliares. No entanto, o trabalho estabelece uma base metodológica para construir modelos de mundo confiáveis e interpretáveis em configurações baseadas em texto.