Resumo Técnico: Agente-como-Juiz Online (Online Agent-as-a-Judge)

Declaração do Problema

Avaliar agentes sociais interativos baseados em LLM (Large Language Models) apresenta um desafio único: comportamentos socialmente relevantes não são meramente saídas isoladas, mas dependem de interações prévias, papéis sociais e ações subsequentes. Os paradigmas de avaliação existentes, como o LLM-como-Juiz Offline ou o Agente-como-Juiz Offline, tipicamente pontuam trajetórias ou saídas finais pré-gravadas. Esses métodos passivos sofrem de um gargalo crítico: a disponibilidade de situação.

Em ambientes sociais persistentes (ex: simulações de vida), o sucesso é definido por padrões sensíveis ao contexto (ex: manter um papel, reparar erros sociais, lidar com conflitos). No entanto, rastros de interação comuns frequentemente falham em gerar as situações sociais específicas e raras necessárias para testar essas capacidades (ex: uma promessa quebrada, uma recusa ou um momento de angústia). Consequentemente, avaliadores passivos frequentemente retornam vereditos de "evidência insuficiente" porque os gatilhos necessários nunca surgiram no log registrado, em vez de ser porque o agente falhou no critério.

Metodologia: Agente-como-Juiz Online

Os autores propõem o Agente-como-Juiz Online, um framework de avaliação de geração de situações projetado para elicitar ativamente situações relevantes ao critério dentro do ambiente nativo do agente alvo.

Arquitetura Central

1. Juiz In-World (Dentro do Mundo): Diferente dos avaliadores offline que observam de fora, o juiz é instanciado como um participante co-residente (um NPC) dentro do mesmo mundo de simulação ($W$) que o agente alvo ($\pi_T$).
2. Interação de Protocolo Nativo: O juiz interage com o alvo usando os protocolos de diálogo e ação nativos do ambiente (ex: mover-se, falar, usar objetos). Ele não possui interfaces de controle privilegiadas para forçar ações ou editar o estado do mundo diretamente.
3. Ferramentas de Inspeção de Somente Leitura: O juiz tem acesso a ferramentas de apenas leitura para inspecionar a cena, atributos de personagem, memória e interações recentes. Isso permite que ele planeje sondagens baseadas no estado atual sem alterar o mundo.
4. O Loop de Avaliação: Para cada critério $c$ elaborado pelo designer, o juiz executa um loop iterativo:
   • Inspecionar: Consultar o estado do ambiente para entender o contexto e a continuidade.
   • Planejar: Formular uma estratégia de sondagem (ex: "pedir ajuda", "insultar", "pedir um favor") para elicitar o comportamento específico.
   • Elicitar: Executar a sondagem via ações/diálogos nativos.
   • Observar: Registrar a resposta imediata do alvo e as ações de acompanhamento subsequentes.
   • Decidir: Acumular evidências. Se houver evidência suficiente para determinar uma aprovação/reprovação, o juiz para; caso contrário, ele refina a sondagem (ex: escalando a situação ou mudando o enquadramento) e repete.

Principais Restrições e Salvaguardas

Para evitar que o juiz inadvertidamente resolva o teste para o alvo, o framework impõe políticas de sondagem estritas:

• Sem Auto-Escafotagem (No Self-Scaffolding): O juiz não pode realizar o comportamento positivo do critério por si mesmo (ex: se estiver testando reparação de conflito, o juiz não pode se desculpar primeiro).
• Sem Perguntas Indutivas: O juiz evita questionários hipotéticos ("O que você faria?") em favor de encenações vivas e dentro do mundo.
• Separação de Evidências: Os vereditos baseiam-se apenas em evidências do alvo não pertencentes ao juiz. As próprias ações do juiz são sondagens, não evidências da capacidade do alvo.

Configuração Experimental

O framework foi avaliado em um ambiente de simulação de vida apresentando um cenário de família com cinco personagens.

• Critérios: 32 critérios curados por humanos através de oito domínios (ex: Papel Familiar, Memória/Continuidade, Gestão de Conflitos, Suporte Emocional).
• Baselines (Linhas de Base):
  • LLM-como-Juiz Offline: Pontua logs pré-gravados sem intervenção.
  • Agente-como-Juiz Offline: Pode pesquisar logs e recuperar contexto, mas não pode intervir.
  • Agente-como-Juiz Online: O método proposto.
• Agentes Alvo: Três backends foram testados: regra baseada aleatória, prompting de LLM de disparo único (single-shot), e um loop de observar-pensar-agir com memória.
• Métricas:
  • Cobertura de Critérios: A fração de critérios para os quais um veredito definitivo de aprovação/reprovação pôde ser emitido (vs. "insuficiente").
  • Acordo com Humanos: Precisão contra rótulos humanos por critério.

Principais Resultados

O estudo demonstra que a geração ativa de situações supera significativamente a observação passiva, particularmente para comportamentos que não ocorrem espontaneamente.

1. Cobertura de Critérios: O Agente-como-Juiz Online alcançou uma cobertura média de 0,92, comparado a 0,56 para o juiz LLM Offline e 0,54 para o juiz Agente Offline.
   • A lacuna foi mais pronunciada em Conflito/Violação de Normas (1,00 vs. ~0,20) e Suporte Emocional/Social (0,89 vs. ~0,50), domínios onde os rastros passivos raramente contêm os gatilhos necessários.
2. Acordo com Humanos: O método online atingiu 0,70 de precisão contra rótulos humanos, superando significativamente o LLM Offline (0,33) e o Agente Offline (0,40).
   • Os ganhos foram maiores em Conflito (0,96 vs. 0,17) e Suporte Emocional (0,82 vs. ~0,50).
3. Robustez: O juiz online identificou corretamente tanto as aprovações (82%) quanto as falhas (60%), enquanto as baselines offline tiveram dificuldade significativa em identificar falhas (o LLM Offline identificou apenas 8% das falhas rotuladas por humanos).
4. Eficiência: Embora uma avaliação conduzida por um designer leve cerca de 60 minutos, o Agente-como-Juiz Online automatizado avaliou todos os 32 critérios em aproximadamente 21 minutos de tempo de relógio ao executar os critérios em paralelo.

Limitações

Os autores observam que Memória/Continuidade continua sendo um desafio para todos os juízes (incluindo a variante online), com pontuações de acordo mais baixas. Isso é atribuído à natureza distribuída das evidências de memória ao longo de longos históricos de interação, tornando difícil isolar erros de atribuição específicos dentro de um único episódio de sondagem.

Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Identificação de um Gargalo: Estabelece que a "disponibilidade de situação" é uma limitação central na avaliação de agentes sociais interativos; evidências relevantes estão frequentemente ausentes porque a situação social apropriada nunca surge em logs passivos.
2. Um Novo Framework: Introduz o Agente-como-Juiz Online, um método onde um avaliador constrói ativamente situações sociais através de interação nativa para elicitar e verificar critérios comportamentais específicos.
3. Validação Empírica: Demonstra que a elicitação ativa melhora tanto a cobertura de evidências quanto o alinhamento com o julgamento humano, particularmente para comportamentos sociais complexos como gestão de conflitos e suporte emocional, que são difíceis de observar passivamente.

Os autores posicionam este trabalho não como um substituto para benchmarks baseados em resultados (ex: tempo de conclusão de tarefa), mas como uma ferramenta metodológica necessária para avaliar agentes socialmente situados, onde o sucesso é definido por padrões comportamentais sensíveis ao contexto, em vez de estados terminais. Eles sugerem que esta abordagem é aplicável a jogos de simulação de vida, assistentes conversacionais e benchmarks sociais multi-agente.