Resumo Técnico: Avaliando Agentes Generativos com Ações Fundamentadas em Ambientes de Tarefas Socialmente Distribuídos usando o Incognita

Declaração do Problema

Uma agência eficaz em ambientes sociais exige que um agente determine quando buscar conhecimento, quando agir e se suas ações são justificadas pelas informações adquiridas. Os paradigmas de avaliação existentes frequentemente separam esses requisitos: benchmarks fundamentados (ex: WebArena, AppWorld) fornecem ações executáveis e resultados verificáveis, mas carecem de interação social rica, enquanto ambientes de simulação social (ex: Sotopia) oferecem interação multiagente, mas muitas vezes carecem de mudanças de estado consequentes e fundamentadas.

O problema central abordado é a avaliação de agentes generativos em ambientes de tarefas socialmente distribuídos. Nesses ambientes, o conhecimento relevante para a tarefa é particionado entre participantes isolados por papéis (ex: um cliente, um balcão de devoluções, um catálogo de produtos) e ações consequentes só são alcançáveis através da interação com esses participantes específicos. Os agentes atuais apresentam dificuldades com essa estrutura, exibindo falhas em esclarecimento, manutenção de contexto e finalização prematura quando a informação da tarefa é revelada incrementalmente ao longo dos turnos.

Metodologia: O Framework Incognita

Os autores introduzem o Incognita, um framework de ambiente construído sobre o substrato Concordia para instanciar ambientes de tarefas socialmente distribuídos. O Incognita separa a interação social da execução fundamentada, criando um Processo de Decisão de Markov Parcialmente Observável (POMDP) para o agente de teste.

1. Arquitetura do Ambiente

• Interação Isolada por Papel: O agente de teste não possui acesso direto a ferramentas. Ele interage via mensagens direcionadas a um USER (que detém o conhecimento do lado da demanda atrás de um portão de divulgação) e a Entidades Especialistas (que detêm conhecimento do ambiente específico do papel e medeiam operações).
• Camada de Execução Fundamentada: Entidades especialistas propõem operações que são validadas e executadas por um subambiente determinístico sobre um estado canônico.
  • Leituras (Reads): Retornam informações sem alterar o estado.
  • Escritas (Writes): Mutam o estado, criando consequências avaliadas posteriormente.
• Avaliação Offline: O ensaio termina quando o agente define uma flag de finalização ($f_t=1$). Um avaliador offline então pontua o estado final em relação à recompensa da tarefa herdada (ex: do $\tau$-bench). O avaliador não guia o agente nem inspeciona seu estado de crença interno durante o ensaio.

2. Enquadramento Teórico

O framework adapta o paradigma de exploração-explotação para este cenário:

• Exploração: A comunicação funciona como exploração sobre o conhecimento particionado por papéis. O agente deve atualizar seu estado de crença implícito em relação à intenção do usuário, conhecimento disponível e operações viáveis.
• Explotação: Ações fundamentadas funcionam como explotação, comprometendo o estado de crença do agente a operações de mudança de estado.
• Finalização: A ação de finalização representa o compromisso do agente de que o objetivo do usuário foi satisfeito. A finalização prematura indica uma incompatibilidade entre a crença do agente e o estado canônico do ambiente.

3. Configuração Experimental: Incognita-Retail

Para validar o framework, os autores transformaram as tarefas de $\tau$-bench retail em um ambiente de múltiplas entidades (Incognita-Retail).

• Tarefas: 18 tarefas estratificadas por amplitude social (o número de distintas entidades especialistas exigidas pela solução de referência, variando de 1 a 6).
• Modelos: Três modelos de agentes generativos (gpt-5.2, gpt-5.4, gpt-5.5) foram avaliados.
• Ensaios: 540 ensaios no total (18 tarefas $\times$ 10 repetições $\times$ 3 modelos).
• Restrições: O agente de teste não recebe dicas explícitas de objetivo ou política; ele deve inferir a estrutura da tarefa através da interação.

Principais Resultados

1. Taxas de Sucesso das Tarefas

O sucesso em tarefas fundamentadas permanece esparso mesmo para modelos mais fortes, embora o progresso seja visível:

• gpt-5.2: 0% de taxa de sucesso em todas as amplitudes sociais.
• gpt-5.4: 8,9% de sucesso geral (tendo sucesso apenas nas amplitudes sociais 3 e 4).
• gpt-5.5: 17,2% de sucesso geral (sucesso não nulo em todos os níveis de amplitude, embora a amplitude 6 permaneça quase não resolvida).

2. Mudanças Comportamentais e Modos de Falha

O estudo revela que a melhoria do modelo se manifesta em mudanças comportamentais antes que o sucesso confiável da tarefa seja alcançado:

• Finalização Prematura: A taxa de terminação prematura (afirmar a conclusão da tarefa antes das ações necessárias) diminuiu significativamente:
  • gpt-5.2: 100%
  • gpt-5.4: 87%
  • gpt-5.5: 58%
• Métricas de Exploração e Explotação: Modelos mais fortes exibiram:
  • Maior Cobertura de Divulgação (fração de campos do usuário bloqueados revelados): 0,06 $\to$ 0,17 $\to$ 0,45.
  • Maiores Taxas de Escrita (fração de ensaios com escritas de mudança de estado aceitas): 0 $\to$ 0,13 $\to$ 0,36.
  • Maior Amplitude de Contato de Entidade: Aumentou de 0,30 (gpt-5.2) para 0,68 (gpt-5.4/5.5).

3. Composição de Falhas

À medida que os modelos melhoraram, os modos de falha mudaram de terminação imediata para erros mais complexos envolvendo crença-ambiente, crença-objetivo e erros de execução. Isso indica que agentes mais fortes passam mais tempo dentro do regime de interação pretendido, mas ainda lutam com a confiabilidade da formação de crenças e o embasamento da ação.

Contribuições e Significância

O artigo apresenta três contribuições primárias:

1. Formalização: Formaliza os ambientes de tarefas socialmente distribuídos como um cenário de avaliação distinto onde o conhecimento é particionado entre participantes isolados por papel, exigindo que os agentes naveguem pela assimetria de informação.
2. Framework: Apresenta o Incognita, um framework que acopla a interação isolada por papel com a execução de estado determinística e a verificação de recompensa offline, separando a formação de crença da verificação de resultado.
3. Análise Empírica: Fornece uma análise preliminar mostrando que o progresso do modelo nesses ambientes é observável em métricas de processo (elicitação de conhecimento, seleção de fonte, tentativas de ação fundamentada), mesmo quando as recompensas finais da tarefa permanecem baixas.

Significância:
Os autores argumentam que os ambientes de tarefas socialmente distribuídos expõem o comportamento do agente antes do sucesso confiável da tarefa. Ao medir a comunicação, as ações de mudança de estado e os compromissos de conclusão de tarefa dentro de um único ambiente fundamentado, o Incognita oferece um caminho para avaliar a agência colaborativa que vai além da qualidade do diálogo aberto ou do sucesso final da tarefa isoladamente. Os achados sugerem que os modelos atuais estão começando a se engajar em busca de conhecimento sustentada e seleção de fontes mais ampla, mas lacunas significativas ainda permanecem na confiabilidade da formação de crenças e no tempo de finalização.