Resumo Técnico: GroundEval

1. O Problema: Correção com Estado Inválido

Os métodos de avaliação atuais para agentes de Grandes Modelos de Linguagem (LLMs), particularmente as abordagens de "LLM-como-Juiz", focam primariamente na plausibilidade e correção da resposta final. No entanto, para agentes com estado operando em ambientes corporativos (acessando logs, CRMs, repositórios de código e dados com escopo de função), a correção é insuficiente. Um agente pode produzir uma resposta factualmente verdadeira enquanto viola as restrições de estado da tarefa.

O artigo define este modo de falha como Correção com Estado Inválido (State-Invalid Correctness): uma resposta onde a resposta final coincide com o estado esperado do mundo, mas o caminho de evidências utilizado para derivá-la viola restrições relativas a:

• Visibilidade: Acessar dados fora das permissões de subsistema ou da função do ator.
• Limites Temporais: Utilizar artefatos criados após o tempo "até o momento" (as-of) da pergunta.
• Completude de Busca: Afirmar a ausência de evidências sem realizar a busca nos repositórios exigidos.
• Fundamentação Causal: Inferir causalidade baseada em adjacência temporal em vez de links de eventos verificados.

Os juízes de LLM têm dificuldade em detectar essas falhas porque carecem de acesso ao contrato de estado verificável por máquina (políticas de acesso, logs de eventos e carimbos de data/hora de artefatos) necessário para verificar deterministicamente se um artefato estava visível para um ator em um momento específico.

2. Metodologia: O Framework GroundEval

O GroundEval é um framework determinístico, livre de juiz, que avalia agentes contra um contrato de verdade fundamental (ground-truth contract) legível por máquina. Ele não depende de introspecção de cadeia de pensamento (chain-of-thought) ou de racionalidades de modelos de julgamento.

Componentes Principais

O framework opera sobre quatro entradas para gerar um Contrato de Verdade Fundamental:

1. Log de Eventos: Um fluxo com carimbo de data/hora de atores, artefatos e tipos de eventos.
2. Corpus de Artefatos: Os documentos ou registros disponíveis para recuperação.
3. Política de Acesso: Regras que definem a visibilidade de subsistemas e limites de tempo por ator/função.
4. Configuração de Avaliação: Especificações para links causais, pares de silêncio (ausências esperadas) e templates de perguntas.

A partir deste contrato, o sistema gera Contratos de Pergunta e Esquemas de Resposta Esperada. O agente é avalido em um de dois modos:

• Modo de Contexto: O agente recebe uma janela de contexto pré-filtrada e deve enviar uma resposta estruturada com citações explícitas de evidence_artifacts.
• Modo de Ferramenta (Tool Mode): O agente interage com um tempo de execução controlado que impõe restrições de acesso no ponto de chamadas de fetch ou search, registrando um rastro completo do uso de ferramentas.

Trilhas de Avaliação

O GroundEval visa três classes específicas de falha, cada uma com uma trilha dedicada:

1. Perspectiva: Testa se um agente respeita o que um ator poderia ter conhecido em um momento específico (verificando vazamento temporal e violações de permissão).
2. Contrafactual: Testa se um agente identifica relações de causa-efeito válidas usando condições de junção explícitas (ex: IDs de tickets) em vez de adjacência temporal.
3. Silêncio: Testa se um agente verifica a ausência pesquisando os espaços necessários antes de afirmar que algo não aconteceu.

Mecanismo de Pontuação

O GroundEval emprega um Modelo de Pontuação Dupla:

• Pontuação de Resposta ($S_{answer}$): Mede se a resposta final estruturada coincide com a verdade fundamental.
• Pontuação de Trajetória ($S_{traj}$): Mede se o caminho de evidências do agente (buscas, buscas de dados, citações) permaneceu dentro do contrato de estado.

Estes são combinados em uma Pontuação Ajustada por Conformidade ($S_{adj}$):
$$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$$
Onde $v$ é a taxa de violação (violações de portão de ator, subsistema ou horizonte). A penalidade quadrática garante que uma alta precisão de resposta não possa compensar uma alta taxa de violações de governança.

3. Principais Contribuições

1. Contrato de Avaliação Determinístico: Um framework que deriva contratos de pergunta e esquemas de resposta a partir de logs de eventos e políticas de acesso sem exigir um modelo de juiz, tornando os sinais de correção independentemente auditáveis.
2. Pontuação Dupla com Ajuste de Violação: Um modelo de pontuação que distingue entre respostas verdadeiras e respostas alcançadas validamente, penalizando agentes que violam restrições de estado mesmo que seu output final esteja correto.
3. Determinismo Formalizado: Garante que as pontuações sejam determinísticas dado o mesmo contrato e rastro, permitindo que o framework sirva como um portão de regressão através de versões de modelos e mudanças de prompts.
4. Três Trilhas Reutilizáveis: Protocolos de avaliação específicos para falhas de Perspectiva, Contrafactual e Silêncio que abordam pontos cegos na avaliação de trajetória atual.

4. Resultados Experimentais

O framework foi validado usando o OrgForge, um framework de simulação que gera verdade fundamental determinística. A avaliação envolveu 96 perguntas através de três trilhas (Perspectiva, Contrafactual, Silêncio) e um agente DeepSeek-V4-Pro.

Principais Descobertas:

• O Hiato do Juiz (The Judge Gap): Em um estudo de caso, dois juízes de LLM de fronteira (Kimi-K2.6 e ChatGPT-5.5) pontuaram uma resposta de agente plausível, porém inválida, como 0.90 e 0.85, respectivamente. O GroundEval pontuou a mesma resposta como 0.000 para a resposta (porque o artefato necessário nunca foi buscado) e 0.273 para a trajetória, expondo o caminho de evidência inválido.
• Falhas de Perspectiva: Agentes frequentemente confundiram presença física com acesso a subsistemas baseados em função, resultando em altas pontuações de resposta, mas penalidades significativas de trajetória devido a violações de portão de ator.
• Falhas Contrafactuais: Agentes frequentemente basearam-se em similaridade tópica superficial em vez de condições de junção estrutural (ex: IDs de tickets), levando a alegações causais incorretas que não foram detectadas pela pontuação de resposta final, mas foram sinalizadas pela análise de trajetória.
• Baseline Zero-Shot: Agentes alcançaram pontuações de resposta não triviais em condições zero-shot (sem acesso a ferramentas), sugerindo que algumas perguntas poderiam ser respondidas via fraseologia superficial em vez de recuperação de evidências, destacando a necessidade de controles rigorosos de geração de perguntas.

5. Significância e Alegações

O artigo afirma que a lacuna entre o "plausível" e o "válido" não é um caso isolado raro, mas um ponto cego fundamental nas avaliações de agentes atuais. O GroundEval afirma que, para agentes com estado, o caminho da evidência é parte da resposta.

A significância deste trabalho reside na mudança da supervisão de resultado (o modelo obteve a resposta certa?) para a supervisão de processo (o modelo alcançou a resposta através de um caminho de estado válido?). Ao tornar o contrato de estado explícito e pontuável, o GroundEval fornece um mecanismo para detectar a "correção com estado inválido" que os juízes de LLM, que dependem de plausibilidade semântica, são estruturalmente incapazes de capturar. O framework é projetado para ser reutilizável em diferentes versões de modelos e domínios, servindo como um portão de regressão determinístico para o desenvolvimento de agentes.