Resumo Técnico: Floresta de Agentes Juízes (Judge Agent Forest - JAF)

1. Definição do Problema

Os atuais frameworks de IA agêntica dependem de agentes juízes para avaliar saídas, aplicar salvaguardas e permitir o auto-refinamento iterativo. No entanto, as implementações padrão operam de forma local à instância: um juiz avalia um único par consulta-resposta $(Q_i, R_i)$ isoladamente, potencialmente utilizando exemplos estáticos de contexto que não refletem o contexto específico da carga de trabalho atual.

Este isolamento falha em capturar dependências entre instâncias e padrões emergentes ao nível de coorte. Em domínios complexos como a triagem de vulnerabilidades em nuvem, o risco de um problema específico frequentemente depende de sua relação com outros problemas dentro do mesmo locatário ou conta (ex: configurações incorretas compartilhadas, topologia de rede ou funções de software recorrentes). Juízes locais à instância não conseguem explorar sistematicamente essas regularidades, impor consistência entre ativos similares ou propagar insights (como uma configuração incorreta descoberta) para casos relacionados. Além disso, métodos padrão para melhorar o raciocínio — como o auto-refinamento iterativo em uma única instância ou a exploração de múltiplos caminhos de pensamento (multi-chain-of-thought - CoT) — muitas vezes duplicam custos computacionais e falham em aproveitar a diversidade de raciocínio já presente em uma carga de trabalho.

2. Metodologia: Floresta de Agentes Juízes (JAF)

A JAF introduz uma mudança de paradigma onde o agente juiz realiza a inferência conjunta através de uma coorte de pares consulta-resposta logicamente relacionados (ex: todos os pares vulnerabilidade-ativo para um locatário ou janela de tempo específica), em vez de avaliá-los isoladamente.

Mecanismo Central

• Raciocínio ao Nível de Coorte: Em vez de um contexto estático, o prompt do juiz para uma instância focal $(Q_i, R_i)$ inclui um conjunto pequeno e dinamicamente selecionado de exemplares pares $(Q_j, R_j)$ da mesma coorte.
• Indução de Grafo de Conhecimento: Esses vizinhanças sobrepostas induzem um grafo de conhecimento dinâmico ao nível da coorte, onde os nós são instâncias e as arestas representam a coocorrência no prompt de um juiz. Informações e críticas propagam-se ao longo dessas arestas, analogamente à propagação de crença (belief propagation) ou propagação de rótulos (label propagation) em aprendizado de máquina semi-supervisionado baseado em grafos.
• Comportamento de Ensemble: Ao amostrar aleatoriamente diferentes vizinhanças para cada invocação do juiz (ou ao longo de rodadas de refinamento iterativo), a JAF cria um efeito de ensemble. Cada instância é avaliada sob contextos diversos e localmente coerentes, permitindo que o sistema detecte inconsistências e estabilize julgamentos sem alterar a arquitetura subjacente do LLM.

Construção de Vizinhança: Hashing Sensível à Localidade (LSH)

Para selecionar eficientemente vizinhos relevantes de coortes grandes e heterogêneas, a JAF emprega um framework flexível de Hashing Sensível à Localidade (LSH) que vai além do simples k-vizinhos mais próximos (kNN) baseado em embeddings.

• Predicados de Hash Aprendidos: A JAF aprende códigos de hash binários integrando embeddings semânticos, rótulos categóricos, metadados de domínio e predicados definidos por LLM.
• Objetivos de Teoria da Informação: As funções de hash são otimizadas para maximizar a informação mútua com informações laterais (rótulos/metadados) enquanto minimizam a redundância (correlação total) entre os bits. Isso garante que os códigos sejam informativos, destilados e interpretáveis.
• Estrutura Hierárquica: O esquema de hashing cria uma partição multiescala da coorte. Baldes (buckets) grosseiros capturam similaridades semânticas amplas (ex: tipo de ativo), enquanto divisões mais finas capturam nuances específicas da tarefa (ex: configurações incorretas específicas).
• Detecção de OOD e Anomalias: O framework inclui mecanismos para detectar padrões fora da distribuição (OOD - Out-of-Distribution) ou anomalias raras dentro dos baldes, atribuindo-lhes bits de hash dedicados para garantir que sejam escrutinados juntos.
• Predicados Guiados por LLM: LLMs podem propor divisões binárias semânticas (ex: "voltado para o externo" vs. "apenas interno") ou identificar subconjuntos de referência para detecção de OOD, que são então validados via agrupamento baseado em divergência.

Integração com Estratégias de Raciocínio

• Auto-refinamento Iterativo: A JAF estende o auto-refinamento para o nível da coorte. À medida que o juiz critica e refina as respostas, as correções propagam-se através do grafo de conhecimento. Instâncias que se estabilizam ("congeladas") fornecem exemplares de alta qualidade para refinar casos mais difíceis.
• Exploração de CoT: A JAF trata caminhos de raciocínio (CoTs) como objetos de primeira classe. Ao realizar o hashing dos CoTs, o sistema pode compartilhar templates de raciocínio bem-sucedidos entre diferentes instâncias, amortizando o custo de explorar diversos caminhos de raciocínio.
• Avaliação Probabilística: Ao executar múltiplas avaliações aleatorizadas sobre respostas refinadas fixas, a JAF gera uma probabilidade de aceitação empírica ($\hat{p}_i$). Isso serve como uma métrica de estabilidade, sinalizando decisões frágeis que são sensíveis a variações de contexto para revisão humana.
• Exploração Guiada por RL (Futuro): A estrutura de hash fornece um espaço de estados para o Aprendizado por Reforço (RL) adaptarivamente alocar computação de tempo de teste, direcionando mais recursos para baldes de hash menos explorados ou historicamente propensos a erros.

3. Principais Contribuições

1. Framework de Inferência Conjunta: Propõe a JAF, um framework que eleva o agente juiz de um avaliador local para um aprendiz holístico, permitindo a inferência conjunta através de pares de consulta-resposta relacionados.
2. Seleção de Vizinhança Baseada em LSH: Desenvolve um algoritmo LSH inovador, baseado em teoria da informação, que aprende códigos binários informativos, interpretáveis e conscientes de relações para selecionar exemplares diversos, superando as limitações da geometria pura de embeddings.
3. Unificação de Técnicas: Demonstra como a JAF unifica o auto-refinamento iterativo, a exploração de multi-CoT e o aprendizado de ensemble em um único mecanismo consciente da coorte, implementando efetivamente princípios de propagação de crença e florestas aleatórias via aprendizado em contexto (in-context learning).
4. Métricas de Estabilidade Probabilística: Introduz um método para estimar a confiança da decisão via amostragem de vizinhança aleatória, fornecendo um sinal robusto para identificar casos instáveis ou ambíguos.

4. Resultados Experimentais

Os autores validam a JAF na tarefa exigente de triagem de configurações incorretas em nuvem, um domínio que requer a síntese de funções de software, exposição de rede e políticas de IAM.

• Configuração: Uma coorte de 315 ativos com configurações incorretas foi processada por um agente primário (Llama3.3-Nemotron-Super-49B-v1.5). O baseline utilizou auto-refinamento iterativo isolado; a JAF utilizou refinamento consciente da coorte com amostragem de vizinhança baseada em objetivos simples (sem embeddings ou LSH neste estudo inicial).
• Métricas: A avaliação utilizou um juiz probabilístico para medir a probabilidade de correção empírica ($\hat{p}_i$) das respostas finais sob diversos contextos de pares.
• Descobertas:
  • Maior Precisão e Estabilidade: Após apenas 5 iterações de refinamento, a JAF deslocou significativamente a distribuição das probabilidades de correção para valores mais altos (a média de $\hat{p}_i$ aumentou, a variância diminuiu) em comparação ao baseline.
  • Convergência Mais Rápida: A JAF alcançou resultados de alta qualidade em 5 iterações que o baseline não conseguiu atingir mesmo após 10 iterações.
  • Robustez: As análises baseadas em JAF foram menos sensíveis aos pares específicos vistos no contexto, indicando um raciocínio subjacente mais sólido.
  • Identificação de Casos Difíceis: Ambos os métodos identificaram uma cauda de casos de baixa confiança, mas a JAF consistentemente reduziu o número de tais instâncias frágeis, destacando naturalmente os problemas mais difíceis para revisão humana.

5. Significância e Alegações

O artigo afirma que a JAF representa uma mudança fundamental na forma como sistemas agênticos lidam com avaliação e refinamento. Ao situar a inferência conjunta na camada do juiz, a JAF mantém a modularidade do agente enquanto promove o fluxo de informação entre os inputs.

• Escalabilidade: O framework é projetado para lidar com coortes grandes e heterogêneas (centenas ou milhares de casos de contexto longo) onde abordagens locais à instância falham em capturar dependências.
• Aplicabilidade Geral: Embora motivada pela segurança em nuvem, os autores afirmam que a JAF é amplamente aplicável a qualquer domínio que exija o refinamento coerente e consciente do contexto de decisões de modelos em larga escala.
• Alegações Modestas: Os autores enfatizam que mesmo uma instanciação "naïve" da JAF (sem LSH sofisticado ou embeddings) produz melhorias substanciais. Eles posicionam a mecânica de LSH e a integração com RL como trabalhos futuros para otimizar ainda mais o desempenho, em vez de pré-requisitos para os benefícios centrais do framework. O artigo não pretende substituir o ajuste fino supervisionado (SFT), mas sugere que a JAF pode atuar como um pré-condicionador para produzir rótulos pseudo (pseudo-labels) de maior qualidade para o SFT.

Em resumo, a JAF une os princípios de propagação de crença e aprendizado de ensemble para criar uma camada de avaliação robusta e sensível ao contexto que permite aos sistemas agênticos aprenderem com o comportamento coletivo de uma coorte, em vez de apenas com instâncias individuais.