Resumo Técnico: Avaliando Interações Humano-Agente via PULSE

Declaração do Problema

Os atuais paradigmas de avaliação para agentes baseados em Large Language Models (LLMs) dependem fortemente de benchmarks estáticos que medem a precisão sob a premissa de automação total. Esses benchmarks tipicamente avaliam a capacidade de um agente de completar uma tarefa bem especificada sem intervenção do usuário. No entanto, a implantação de agentes no mundo real frequentemente envolve fluxos de trabalho colaborativos com humanos no ciclo (human-in-the-loop), onde os agentes trabalham ao lado de supervisores humanos. A literatura existente carece de um protocolo de avaliação rigoroso para esses cenários interativos, e tentativas anteriores de simular a interação humana muitas vezes permanecem dentro de condições controladas e orientadas por benchmarks, em vez de capturar o feedback genuíno do usuário "no mundo real". Consequentemente, há uma lacuna na compreensão de como decisões específicas de design de agentes impactam a satisfação real do usuário e como o desempenho em benchmarks se correlaciona com a experiência humana real.

Metodologia: O Framework PULSE

Para abordar essas lacunas, os autores propõem o PULSE (Prediction-powered User Label Synthesis and Evaluation), um framework de três etapas projetado para a avaliação eficiente e centrada no humano de designs de agentes.

1. Coleta de Dados de Feedback

O framework implementa um mecanismo de feedback minimamente invasivo dentro de uma interface baseada na web (construída em torno do agente de código aberto OpenHands). Em vez de solicitar feedback em intervalos arbitrários, o sistema solicita que os usuários avaliem o desempenho do agente em uma escala de 5 estrelas imediatamente após cada "segmento de trabalho". Um segmento de trabalho é definido como a sequência de eventos desde quando um usuário envia um comando, o agente entra em um estado de "execução" (running), até retornar ao estado "parado" (stopped). Este design fundamenta as classificações em tarefas específicas recém-finalizadas, reduzindo o ruído e julgamentos sem foco.

2. Prevendo a Satisfação do Usuário

Dado que as classificações explícitas são esparsas (apenas ~5% das interações no estudo receberam classificações), os autores treinam um modelo de Machine Learning (ML) para prever a satisfação do usuário para trajetórias não rotuladas.

• Engenharia de Atributos (Feature Engineering): Através de um processo iterativo de humano no ciclo, 15 atributos foram identificados e categorizados em:
  • Baseado no Usuário: Mensagens do usuário, sentimento e contagem de mensagens.
  • Baseado no Agente: Tipo de tarefa (ex: correção de bugs vs. novas funcionalidades) e modos de falha (ex: testes insuficientes, não seguir instruções).
  • Progressão da Tarefa: Ações de Git (push, commit, reset) que indicam a conclusão da tarefa.
• Treinamento do Modelo: Vários modelos de ML (Regressão Logística, Random Forest, HistGradientBoosting) foram treinados em trajetórias rotuladas. O estudo descobriu que esses modelos baseados em atributos superaram significativamente os baselines de "LLM-como-juiz" (usando modelos como o3 e gemini-2.5-pro) na previsão de satisfação, alcançando maior correlação com as classificações humanas e menores taxas de erro.

3. Computando o Tamanho do Efeito com Inferência Baseada em Predição (PPI)

Para comparar diferentes designs de agentes (ex: variando backbones de LLM ou estratégias de planejamento), o framework utiliza Inferência Baseada em Predição (PPI - Prediction-Powered Inference).

• Mecanismo: A PPI aproveita o modelo de predição treinado $f$ para gerar pseudo-rótulos para dados não rotulados. Ela constrói um estimador de tamanho de efeito que combina a média dos dados rotulados com um termo de correção derivado da diferença entre as predições nos dados rotulados e não rotulados.
• Vantagem Estatística: Esta abordagem reduz a variância do estimador, permitindo o cálculo de intervalos de confiança válidos mesmo com dados rotulados esparsos. O framework compara o tamanho de efeito "ingênuo" (usando apenas dados rotulados) contra o tamanho de efeito "aumentado" (usando PPI).

Implantação Experimental e Estudos de Caso

O framework foi implantado em um contexto de engenharia de software de larga escala envolvendo 15.000 usuários e 36.000 sessões. O estudo conduziu três estudos de caso específicos para avaliar decisões de design:

1. Backbone de LLM: Comparando claude-3.7-sonnet, claude-4-sonnet e gpt-5.
2. Estratégia de Planejamento: Comparando agentes que exibem um plano de tarefa estruturado (TASKS.md) versus aqueles que procedem com a implementação direta.
3. Gerenciamento de Memória: Comparando estratégias de gerenciamento de janela de contexto (reduzindo o max_step de 120 para 80 para economizar custos).

Principais Resultados

Impacto do Design do Agente na Satisfação do Usuário

• Dominância do Backbone de LLM: A escolha do LLM subjacente teve o impacto mais significativo na satisfação do usuário. Os usuários preferiram significativamente o claude-4-sonnet em relação ao claude-3.7-sonnet (+5,86%) e em relação ao gpt-5 (-7,83%).
• Efeitos de Estruturação (Scaffolding): Mudanças na estruturação (planejamento e memória) tiveram efeitos menores, porém estatisticamente significativos. Mostrar um plano melhorou a satisfação em ~3,1%, enquanto reduzir os passos de memória economizou custos sem degradar a experiência do usuário.
• Insights Comportamentais: A análise de atributos de interação revelou que a menor satisfação com o gpt-5 correlacionou-se com menos mensagens do usuário (indicando desengajamento precoce) e menos pushes de código. Por outro outro lado, mostrar planos reduziu a "intenção mal compreendida" e aumentou o engajamento do usuário.

Eficiência da Avaliação

• Redução do Intervalo de Confiança: Ao utilizar PPI, o framework reduziu a largura dos intervalos de confiança em uma média de 39,5% comparado ao teste A/B padrão usando apenas dados rotulados. Em vários casos, essa redução permitiu que os pesquisadores chegassem a conclusões estatisticamente significativas onde a abordagem ingênua não conseguia.
• Desempenho do Modelo: Os modelos de ML baseados em atributos superaram os baselines de "LLM-como-juiz", melhorando a correlação com os resultados em pelo menos 26%.

Discrepâncias entre Benchmark e Mundo Real

O estudo destacou um desalinhamento crítico entre o desempenho em benchmarks e a satisfação humana:

• Enquanto o gpt-5 superou o claude-4-sonnet em 6 de 7 benchmarks relacionados a código, os humanos preferiram o claude-4-sonnet em 4 de 7 subconjuntos de tarefas no mundo real.
• A correlação entre os deltas de benchmark ($\Delta_B$) e os deltas de classificação humana ($\Delta_H$) foi fraca ou negativa ($\rho = -0,18$) para a comparação entre claude-4 vs. gpt-5, sugerindo que melhorias em benchmarks nem sempre se traduzem em melhores experiências de usuário.

Significância e Alegações

Os autores afirmam que o PULSE fornece um framework rigoroso e escalável para avaliar interações humano-agente, indo além das limitações de benchmarks de automação total. O estudo demonstra que:

1. A avaliação com humano no ciclo é essencial: O desempenho em benchmarks é um proxy imperfeito para a utilidade no mundo real, particularmente em ambientes colaborativos.
2. Avaliação eficiente é possível: A PPI permite conclusões estatísticas robustas com significativamente menos amostras rotuladas, tornando estudos de interação humano-agente em larga escala mais viáveis.
3. Prioridades de Design: Para agentes de software, investir em modelos base mais fortes gera retornos maiores na satisfação do usuário do que otimizar mecanismos de estruturação (scaffolding), embora mudanças na estruturação (como visibilidade de planejamento) ainda ofereçam benefícios mensuráveis.

O artigo conclui que, embora a engenharia de software tenha sido o principal campo de teste, o framework PULSE é generalizável para outros domínios onde agentes e humanos colaboram, oferecendo um caminho para alinhar melhor os sistemas de IA com as necessidades dos usuários.