Resumo Técnico: ASK no Escuro

Definição do Problema

Agentes de aprendizado por reforço (RL) operando sob observabilidade parcial (POMDPs) devem agir com base em informações incompletas, frequentemente dependendo de observações egocêntricas que falham em distinguir estados subjacentes distintos. Embora modelos de linguagem pequenos (SLMs) possuam amplos vieses de raciocínio que poderiam guiar tais agentes, integrar-os em configurações de observabilidade parcial provou ser difícil. O trabalho anterior, especificamente o framework ASK, utilizava consultas com gatilho de incerteza para consultar SLMs apenas quando a entropia preditiva de uma política de RL excedia um limiar. Em ambientes parcialmente observáveis, o vanilla ASK falhou em melhorar o desempenho, alcançando uma taxa de sobreposição próxima de zero. O SLM era consultado, mas quase nunca desviava da sugestão da política, atuando como um validador passivo em vez de um corretor ativo. Os autores hipotetizam que essa falha decorre de um gargalo de contexto: o "prompt egocêntrico nu" fornecia contexto global insuficiente para que o SLM exercesse suas capacidades de raciocínio, em vez de ser uma limitação na capacidade do modelo.

Metodologia: ASK+

O artigo propõe o ASK+, uma extensão do framework ASK projetada para resolver o gargalo de contexto em POMDPs. A inovação central reside na transformação do prompt do SLM de uma observação estática para uma interface estatal e consciente de trajetória.

1. Prompting de Estado (Stateful Prompting)

Diferente do vanilla ASK, que consulta o SLM apenas com a observação atual, o ASK+ constrói um prompt ($Pr$) que inclui:

• Mapa parcialmente revelado: Características ambientais derivadas e prévias de ações locais para permitir a inferência espacial.
• Memória episódica: Um histórico de posições visitadas e histórico de ações acumulado ao longo do episódio ($\sigma$).
• Raciocínio estruturado: Um mecanismo de "cadeia de pensamento" (chain-of-thought) restrito onde o SLM recebe um orçamento (10 tokens) para computação deliberada antes de gerar uma ação.

2. Consulta com Gatilho de Incerteza

O sistema retém o mecanismo de gatilho de incerteza do ASK, mas o aplica ao contexto enriquecido:

• Sinal de Incerteza: A política de RL (PPO) utiliza Monte Carlo (MC) Dropout para estimar a entropia preditiva total ($H(o)$) via $N$ passagens estocásticas para frente. Este sinal captura tanto a incerteza aleatória (ambiguidade genuína da observação) quanto a incerteza epistêmica (cobertura de treinamento insuficiente).
• Lógica de Gatilho: Se $H(o) \geq \tau$ (um limiar ajustado via otimização Bayesiana), o SLM é consultado. Se a resposta do SLM for válida, ela substitui a ação da política ($a'$); caso contrário, a política executa sua ação padrão ($a$).

3. Arquitetura

• Política de RL: Uma política PPO ator-crítico padrão treinada independentemente sem interação com o SLM. Ela permanece pequena e focada em estados dentro da distribuição.
• Consultor SLM: Utiliza modelos Qwen3.5 (2B e 4B parâmetros) sem ajuste fino (fine-tuning). O sistema depende do conhecimento de mundo pré-treinado do SLM para lidar com estados de alta incerteza que a política de RL não consegue resolver.

Principais Contribuições

1. Diagnóstico do Gargalo de Contexto: Os autores identificam que a falha da assistência com gatilho de incerteza em POMDPs deve-se ao contexto de prompting insuficiente, e não à capacidade do modelo. Eles demonstram que fornecer contexto consciente de trajetória converte o SLM de uma verificação de redundância passiva em um consultor informativo.
2. Framework ASK+: Eles introduzem uma estratégia de prompting de estado que fornece ao SLM mapas, posições visitadas e histórico de ações, permitindo que o modelo raciocine sobre trajetórias em vez de instantâneos isolados.
3. Validação de Sinais de Incerteza: O artigo estabelece que a entropia preditiva total continua sendo um sinal informativo para consulta seletiva em POMDPs, medindo efetivamente a incerteza da ação mesmo quando a incerteza do estado é alta.
4. Escala do Modelo vs. Design de Prompt: Resultados empíricos mostram que o design do prompt e o gatilho seletivo dominam o desempenho sobre a escala do modelo, com o modelo de 2 bilhões de parâmetros igualando ou superando o modelo de 4 bilhões de parâmetros em todos os ambientes.

Resultados Experimentais

Os autores avaliaram o ASK+ em três ambientes complementares de observabilidade parcial: FourRooms (fundamentação espacial), DoorKey (subtarefas sequenciais) e HigherLower (memória temporal/rastreamento de cartas).

• Ganhos de Desempenho:
  • FourRooms: A taxa de sucesso aumentou de 53% (PPO) e 55% (vanilla ASK) para 70% (ASK+).
  • DoorKey: A taxa de sucesso melhorou de 89% (PPO) e 89-92% (vanilla ASK) para 93% (ASK+).
  • HigherLower: A precisão atingiu 73,7%, igualando o limite superior do SLM e melhorando em relação ao PPO (72%).
• Taxas de Sobreposição (Overwrite Rates): O vanilla ASK exibiu taxas de sobreposição próximas de zero (0.00–0.01), confirmando que raramente corrigia a política. O ASK+ alcançou taxas de sobreposição não nulas (0.01–0.06), indicando que o SLM forneceu orientação genuinamente corretiva.
• Eficiência do Modelo: O Qwen3.5-2B consistentemente igualou ou superou o Qwen3.5-4B, confirmando que escalar os parâmetros do modelo é menos crítico do que otimizar a estrutura do prompt e o mecanismo de gatilho.
• Robustez a Políticas Subótimas: O ASK+ demonstrou capacidade de compensar checkpoints fracos do PPO. Em cenários onde a política PPO estava mal treinada, a taxa de intervenção (IR) aumentou, e o ASK+ recuperou significativamente o desempenho, sugerindo que o sistema funciona como uma camada corretiva de propósito geral.

Significância e Alegações

O artigo afirma que a assistência de SLM com gatilho de incerteza é fundamentalmente viável sob observabilidade parcial, desde que o SLM receba contexto suficiente para raciocinar. A principal contribuição não é um novo algoritmo de RL ou um modelo maior, mas uma estratégia de engenharia de prompt que desbloqueia as capacidades de raciocínio latentes de modelos pequenos em ambientes ambíguos.

Os autores sustentam que o "prompt egocêntrico nu" foi o ponto crítico de falha das abordagens anteriores. Ao fechar essa lacuna de contexto, o ASK+ permite que modelos pequenos atuem como consultores eficazes, corrigindo erros de política em tarefas espaciais e sequenciais sem exigir modelos de grande escala ou o retreinamento da política subjacente. O trabalho sugere que, para tarefas de observabilidade parcial, a capacidade de raciocínio pode ser aproveitada através do design de prompt e do gatilho seletivo, em vez de aumentar o tamanho do modelo.

A avaliação é delimitada a três ambientes específicos para estabelecer uma prova de conceito. Os autores observam que trabalhos futuros poderiam explorar POMDPs mais ricos, o impacto de históricos obsoletos e o potencial de ajuste fino de SLMs em visões egocêntricas para isolar ainda mais as contribuições do mecanismo de gatilho.