Resumo Técnico: LatentGym

Definição do Problema

Os atuais frameworks de treinamento e avaliação para agentes de Grandes Modelos de Linguagem (LLMs) carecem da capacidade de estudar rigorosamente o aprendizado experiencial entre tarefas (cross-task experiential learning): a capacidade de um agente de melhorar ao longo de uma sequência de tarefas relacionadas através da inferência e utilização de estruturas latentes compartilhadas. Os benchmarks existentes frequentemente tratam as tarefas de forma independente ou dependem de estruturas implícitas que não são controláveis pelo experimentador. Consequentemente, é difícil diagnosticar por que um agente falha em se adaptar (por exemplo, se falhou em detectar a estrutura, falhou em inferi-la ou falhou em agir sobre ela) ou comparar métodos que visam instilar essa capacidade.

Metodologia: LatentGym

Os autores introduzem o LatentGym, um ambiente de teste controlável projetado para isolar e medir a adaptação entre tarefas. O framework é construído sobre três componentes principais:

1. Ambientes Controláveis

O LatentGym organiza os ambientes em torno de uma variável latente explícita e de verdade fundamental (ground-truth) ($z$) que governa a regularidade compartilhada ao longo de uma sequência de $N$ tarefas. O framework fatoriza cada ambiente ao longo de cinco eixos ortogonais:

• Dinâmicas Centrais: O problema de decisão dentro da tarefa (ex: adivinhação de números, bandits, escadas de palavras).
• Latente: A estrutura de verdade fundamental compartilhada através da sequência (ex: um conjunto fixo de números alvo, um braço vencedor rotativo em bandits).
• Tipo de Prompt: Controla a disponibilidade de informações sobre o latente (Sem informação, Dica vaga ou Informação total).
• Tipo de Feedback: Determina a informação pós-tarefa (Padrão: apenas sucesso/falha; Informação: resultado real revelado).
• Horizonte ($N$): O número de tarefas na sequência.
  A suíte inclui sete ambientes construídos sobre jogos baseados em texto (Adivinhação de Números, Bandits, Secretary, Mastermind, Escada de Palavras, Wordle, Hangman), cada um com múltiplas configurações latentes.

2. Diagnóstico: Exploração vs. Explotação

Para ir além das métricas de recompensa agregadas, o LatentGym introduz um mecanismo de troca de agentes (agent-switching) contrafactual. Em um ponto de troca $K$, o histórico coletado por um agente "explorador" é passado para um agente "explotador". Isso permite a separação de duas capacidades distintas:

• Eficiência de Exploração: Se as ações do agente nas tarefas iniciais coletam evidências informativas sobre o latente.
• Eficiência de Explotação: Se o agente utiliza efetivamente essas evidências para melhorar o desempenho em tarefas posteriores.
  As métricas incluem recompensa cumulativa ($R$), ganho entre tarefas ($r_N - r_1$) e recompensa da tarefa final ($r_N$).

3. Pipeline de RL Integrado

O framework integra-se ao SkyRL, suportando algoritmos padrão (SFT, PPO, GRPO). Ele permite o RL entre Tarefas (Cross-Task RL), onde a política é ajustada (fine-tuned) de ponta a ponta em sequências completas de tarefas relacionadas usando um objetivo de recompensa cumulativa ($\sum r_i$). Isso contrasta com o RL de Tarefa Única (Single-Task RL), que otimiza para tarefas isoladas.

Principais Contribuições e Resultados

1. Modos de Falha de Modelos de Fronteira

A avaliação de modelos de fronteira (GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash) no LatentGym revela que eles frequentemente falham em se adaptar mesmo sob estruturas latentes simples. Os autores identificam três modos de falha recorrentes:

• Negligência de Adaptação: Os modelos reiniciam estratégias repetidamente (ex: busca binária) para cada tarefa, ignorando evidências entre tarefas mesmo quando dicas são fornecidas.
• Quebra de Adaptação: Os modelos reconhecem padrões, mas falham em agir sobre eles de forma confiável, ou agem de maneiras que degradam o desempenho (ex: sobreajuste a um padrão).
• Descalibração de Adaptação: Fornecer informações explícitas sobre o latente pode, paradoxalmente, degradar o desempenho, pois os modelos podem condicionar-se excessivamente à regra fornecida e violar restrições operacionais.

2. O RL entre Tarefas Induz a Adaptação Geral

Os autores demonstram que o RL entre Tarefas (ajuste fino em sequências completas) consegue instilar com sucesso capacidades de adaptação entre tarefas que o Single-Task RL não consegue alcançar.

• Ganhos de Desempenho: O Cross-Task RL supera significativamente tanto os modelos base quanto o Single-Task RL em recompensa cumulativa, ganho entre tarefas e recompensa da tarefa final em todos os ambientes testados.
• Generalização: As estratégias de adaptação aprendidas generalizam-se para latentes não vistos (OOD-1) e ambientes não vistos (OOD-2), sugerando a aquisição de uma meta-estratégia geral em vez de pistas específicas do ambiente.
• Mecanismo: A análise via troca de agentes mostra que o Cross-Task RL melhora tanto a eficiência de exploração quanto a de explotação, embora o fator dominante varie por ambiente (ex: a explotação domina em Adivinhação de Números, enquanto a exploração domina em Hangman).

3. Impacto das Escolhas de Design em Tempo de Treinamento

O estudo investiga como as condições de treinamento afetam a generalização:

• Densidade de Feedback: Contra-intuitivamente, treinar com feedback padrão (esparso) transfere de forma mais robusta para condições de implantação do que treinar com feedback rico em informação. Modelos treinados com informação total sofrem quedas significativas de desempenho quando avaliados sob feedback padrão.
• Riqueza de Prompt: Treinar com dicas vagas ("alguma informação") gera modelos que são mais uniformemente transferíveis entre condições de prompt em comparação com modelos treinados com informação total, que mostram uma forte vantagem em distribuição, mas baixa transferência entre prompts.

Significância

O artigo posiciona o LatentGym como um instrumento fundamental para o estudo principiológico do aprendizado experiencial entre tarefas em agentes de LLM. Ao fornecer um laboratório compartilhado e controlável com latentes de verdade fundamental, ele permite:

1. Diagnóstico: Isolar modos de falha específicos (negligência, quebra, descalibração) que benchmarks agregados obscurecem.
2. Desenvolvimento de Algoritmos: Testar se o treinamento em sequências induz estratégias de adaptação geral.
3. Insights de Design: Revelar que "menos é mais" nos dados de treinamento (feedback esparso) para uma generalização robusta.

Os autores concluem que o LatentGym oferece uma base controlada para projetar agentes que se adaptem de forma mais confiável em cenários sequenciais, personalizados e interativos, indo além da limitação atual de tratar tarefas de forma isolada.