Resumo Técnico: Rumo à Avaliação Condicionada ao Usuário de Agentes LLM Pessoais sob Intervenções Temporais

1. Formulação do Problema

O artigo identifica uma lacuna crítica na avaliação de agentes de Grandes Modelos de Linguagem (LLM) pessoais. Enquanto os benchmarks existentes avaliam capacidades de forma isolada — testando a invocação de ferramentas sob APIs fixas, recuperação/esquecimento de memória ou conformidade de política estática — eles falham em capturar como intervenções temporais (ex: atualizações de esquema de API, endurecimento de políticas ou depreciação de ferramentas) se propagam através de um estado persistente, condicionado ao usuário.

Agentes pessoais diferem de assistentes genéricos por manterem memórias de longo prazo, habilidades aprendidas, configurações de ferramentas e estados de política que evoluem com usuários específicos. Os autores argumentam que um modo de falha exclusivo para agentes pessoais ocorre quando uma memória obsoleta ou uma habilidade aprendida ultrapassada, condicionada ao histórico de um usuário específico, interage com uma nova restrição do sistema (a intervenção), causando falhas em cascata em fluxos de trabalho não relacionados. Os protocolos de avaliação atuais tratam o estado do usuário como uma entrada estática ou o ignoram inteiramente, medindo a robustez genérica ($Q(A, e_i)$) em vez da qualidade de adaptação condicionada ao usuário ($Q(A, e_i | u_j)$).

2. Metodologia: O Framework C1–C4 e Auditoria

Para formalizar os requisitos para a avaliação de agentes pessoais, os autores propõem quatro condições necessárias (C1–C4) para um protocolo de benchmark:

• C1 (Intervenção Temporal Explícita): O benchmark deve injetar um evento de mudança específico e exógeno (ex: uma atualização de API) que perturbe uma dimensão de adaptação.
• C2 (Estado Persistente): O agente deve carregar um estado persistente (memórias, habilidades, políticas) através desta intervenção.
• C3 (Efeitos Transdimensionais): O protocolo deve medir como a intervenção induz efeitos em outras dimensões (ex: como uma mudança de API quebra uma habilidade aprendida ou viola uma política de segurança).
• C4 (Variação Condicionada ao Usuário): O protocolo deve variar o estado condicionado ao usuário (ex: usuários "leves" vs. "usuários avançados" com diferentes históricos acumulados) para medir como o mesmo evento produz diferentes padrões de propagação de falhas.

A Auditoria:
Os autores realizaram uma auditoria focada de 24 benchmarks e sistemas únicos, estreitando o escopo para 15 protocolos públicos que definem suítes de tarefas de agentes LLM com métricas reproduzíveis. Eles filtraram esses protocolos com base nos critérios C1–C4.

• Regras de Codificação: Uma dimensão é considerada "coberta" apenas se for um alvo primário de avaliação. Efeitos transdimensionais exigem a perturbação explícita de um componente e a medição de efeitos induzidos em outro.
• Confiabilidade: Dois codificadores independentes alcançaram um acordo médio de .947 e um Gwet's AC1 de .898 nas etiquetas C1–C4.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Formulação do Problema: Define a avaliação condicionada ao usuário como um problema distinto, onde o estado persistente do usuário atua como contexto executável, não apenas como entrada.
2. Requisito de Design (C1–C4): Estabelece as quatro condições como um requisito falsificável para futuros benchmarks. A auditoria revela que nenhum protocolo no conjunto auditado satisfaz todas as quatro condições simultaneamente. Embora alguns protocolos sejam "próximos" (ex: ToolSandbox possui estado, MemoryArena possui múltiplas sessões), nenhum mede a propagação de uma intervenção fixa através de variados estados de usuário.
3. Design de Benchmark Mínimo e Métricas: Propõe um design concreto para um benchmark mínimo e um conjunto de cinco métricas candidatas para relatar a qualidade da adaptação.

4. Design de Benchmark Proposto e Métricas

Os autores propõem um design de benchmark mínimo envolvendo:

• Domínio: Ambientes ricos em ferramentas (ex: assistentes de análise/relatórios).
• Perfis: Estados de usuário distintos (ex: um usuário "leve" sem habilidades dependentes de ferramentas vs. um usuário "avançado" com memórias de API obsoletas e habilidades de relatório aprendidas).
• Evento: Uma intervenção fixa (ex: uma mudança no esquema da API ou endurecimento de política) aplicada a todos os perfis.
• Oráculos: Verificações de validade de esquema de ferramenta, conformidade de política e o sucesso de tarefas não relacionadas.

Métricas Candidatas (Tabela 1):

• $\alpha_L$ (Latência de Adaptação): O número de interações relevantes necessárias antes do comportamento correto sustentado pós-mudança.
• $\gamma$ (Degradação Graciosa): A fração de falhas que reconhecem a incerteza, evitam afirmações não suportadas e fornecem um próximo passo concreto.
• $\sigma$ (Preservação de Segurança/Privacidade): Taxas absolutas e deltas de conformidade de política antes e depois da adaptação.
• $\kappa$ (Coerência Transdimensional): Estabilidade de dimensões não visadas pela mudança (ex: tarefas não relacionadas permanecem estáveis?).
• $\rho$ (Taxa de Regressão Condicionada ao Usuário): A taxa na qual tarefas anteriormente resolvidas para um usuário específico falham após a adaptação.

5. Resultados e Descobertas

A auditoria resultou em um "resultado negativo focado": Nenhum protocolo existente no conjunto analisado satisfaz a operacionalização C1–C4.

• Padrões Comuns: A maioria dos benchmarks foca na avaliação de capacidade-alvo (ex: "O agente consegue lembrar?" ou "Ele consegue chamar a ferramenta?").
• A Lacuna: A propagação de uma intervenção fixa através dos estados acumulados de diferentes usuários (memórias, habilidades, permissões) permanece não medida.
• Quase Acertos: Protocolos como ToolSandbox (com estado), MemoryArena (múltiplas sessões) e WAREX (testes de estresse) abordam partes do problema, mas falham em acoplar um evento temporal fixo com variados estados condicionados ao usuário para medir a regressão transdimensional.

6. Significância e Alegações

O artigo posiciona-se como uma "análise de lacuna focada", em vez de um levantamento abrangente. Sua significância reside em:

• Reenquadramento da Avaliação: Argumenta que a inteligência pessoal requer avaliar a adaptação através de múltiplos componentes do agente sob estados condicionados ao usuário, indo além de avaliações instantâneas (snapshots).
• Definição de um Requisito: Trata C1–C4 como um requisito de design concreto para futuros benchmarks, afirmando que a robustez genérica entre componentes é insuficiente sem a variação condicionada ao usuário.
• Fornecimento de um Modelo: Oferece um design de família de tarefas mínima e métricas de relatório específicas ($\alpha_L, \gamma, \sigma, \kappa, \rho$) para permitir que pesquisadores testem se a mesma atualização cria falhas diferentes para diferentes usuários.

Os autores concluem que, embora a enumeração exaustiva de todas as interações memória-habilidade-ferramenta-política seja inviável, os futuros benchmarks devem fornecer estados de perfil, scripts de eventos, anotações de dependência e suítes de regressão por usuário para isolar e medir esses modos de falha condicionados ao usuário.