Resumen Técnico: Judge Agent Forest (JAF)

1. Declaración del Problema

Los marcos de trabajo de IA agéntica actuales dependen de agentes jueces para evaluar salidas, imponer salvaguardas y permitir el refinamiento iterativo y autónomo. Sin embargo, las implementaciones estándar operan de manera local a la instancia: un juez evalúa un par de consulta-respuesta $(Q_i, R_i)$ de forma aislada, utilizando potencialmente ejemplos estáticos en contexto que no reflejan el contexto específico de la carga de trabajo actual.

Este aislamiento no logra capturar las dependencias entre instancias y los patcios emergentes a nivel de cohorte. En dominios complejos como el triaje de vulnerabilidades en la nube, el riesgo de un problema específico a menudo depende de su relación con otros problemas dentro del mismo inquilino o cuenta (por ejemplo, configuraciones erróneas compartidas, topología de red o roles de software recurrentes). Los jueces locales a la instancia no pueden explotar sistemáticamente estas regularidades, imponer consistencia entre activos similares ni propagar conocimientos (como una configuración errónea descubierta) de un ticket a otros relacionados. Además, los métodos estándar para mejorar el razonamiento —como el refinamiento autónomo iterativo en una sola instancia o la exploración de múltiples cadenas de pensamiento (CoT)— a menudo duplican los costos de cómputo y no logran aprovechar la diversidad de razonamiento ya presente en una carga de trabajo.

2. Metodología: Judge Agent Forest (JAF)

JAF introduce un cambio de paradigma donde el agente juez realiza una inferencia conjunta a través de una cohorte de pares de consulta-respuesta lógicamente relacionados (por ejemplo, todos los pares de vulnerabilidad-activo para un inquilino específico o una ventana de tiempo), en lugar de evaluarlos de forma aislada.

Mecanismo Central

• Razonamiento a Nivel de Cohorte: En lugar de un contexto estático, el prompt del juez para una instancia focal $(Q_i, R_i)$ incluye un conjunto pequeño y seleccionado dinámicamente de ejemplares pares $(Q_j, R_j)$ de la misma cohorte.
• Inducción de Grafos de Conocimiento: Estos vecindarios superpuestos inducen un grafo de conocimiento dinámico a nivel de cohorte donde los nodos son instancias y las aristas representan la coocurrencia en el prompt de un juez. La información y la crítica se propagan a lo largo de estas aristas, de forma análoga a la propagación de creencias o la propagación de etiquetas en el aprendizaje semi-supervisado basado en grafos.
• Comportamiento de Ensamble: Al muestrear aleatoriamente diferentes vecindarios para cada invocación del juez (o a través de rondas de refinamiento iterativo), JAF crea un efecto de ensamble. Cada instancia es evaluada bajo contextos diversos y localmente coherentes, lo que permite al sistema detectar inconsistencias y estabilizar los juicios sin cambiar la arquitectura subyacente del LLM.

Construcción de Vecindarios: Hashing Sensible a la Localidad (LSH)

Para seleccionar eficientemente pares relevantes de cohortes grandes y heterogéneas, JAF emplea un marco flexible de Hashing Sensible a la Localidad (LSH) que va más allá de los simples k-vecinos más cercanos (kNN) basados en embeddings.

• Predicados de Hash Aprendidos: JAF aprende códigos de hash binarios integrando embeddings semánticos, etiquetas categóricas, metadatos de dominio y predicados definidos por el LLM.
• Objetivos de Información Teórica: Las funciones de hash se optimizan para maximizar la información mutua con la información lateral (etiquetas/metadatos) mientras minimizan la redundancia (correlación total) entre los bits. Esto asegura que los códigos sean informativos, desentrelazados e interpretables.
• Estructura Jerárquica: El esquema de hashing crea una partición multiescala de la cohorte. Los cubos (buckets) gruesos capturan similitudes semánticas amplias (por ejemplo, tipo de activo), mientras que las divisiones más finas capturan matices específicos de la tarea (por ejemplo, configuraciones erróneas específicas).
• Detección de OOD y Anomalías: El marco incluye mecanismos para detectar patrones fuera de la distribución (OOD) o anomalías raras dentro de los cubos, asignándoles bits de hash dedicados para asegurar que sean escrutados conjuntamente.
• Predicados Guiados por LLM: Los LLM pueden proponer divisiones binarias semánticas (por ejemplo, "orientado al exterior" frente a "solo interno") o identificar subconjuntos de referencia para la detección de OOD, que luego son validados mediante agrupamiento basado en divergencia.

Integración con Estrategias de Razonamiento

• Refinamiento Autónomo Iterativo: JAF extiende el refinamiento autónomo al nivel de la cohorte. A medida que el juez critica y refina las respuestas, las correcciones se propagan a través del grafo de conocimiento. Las instancias que se estabilizan (se "congelan") proporcionan ejemplares de alta calidad para refinar casos más difíciles.
• Exploración de CoT: JAF trata las rutas de razonamiento (CoTs) como objetos de primera clase. Al aplicar hashing a los CoTs, el sistema puede compartir plantillas de razonamiento exitosas entre diferentes instancias, amortizando el costo de explorar diversas rutas de razonamiento.
• Evaluación Probabilística: Al ejecutar múltiples evaluaciones aleatorizadas sobre respuestas refinadas fijas, JAF genera una probabilidad de aceptación empírica ($\hat{p}_i$). Esto sirve como una métrica de estabilidad, señalando decisiones frágiles que son sensibles a las variaciones del contexto para la revisión humana.
• Exploración Guiada por RL (Futuro): La estructura de hash proporciona un espacio de estados para el Aprendizaje por Refuerzo (RL) para asignar adaptativamente el cómputo en tiempo de prueba, dirigiendo más recursos a los cubos de hash menos explorados o históricamente propensos a errores.

3. Contribuciones Clave

1. Marco de Inferencia Conjunta: Propone JAF, un marco que eleva al juez de un evaluador local a un aprendiz holístico al permitir la inferencia conjunta a través de pares de consulta-respuesta relacionados.
2. Selección de Vecindarios Basada en LSH: Desarrolla un novedoso algoritmo LSH basado en la teoría de la información que aprende códigos binarios informativos, interpretables y conscientes de las relaciones para seleccionar ejemplares diversos, superando las limitaciones de la geometría pura de los embeddings.
3. Unificación de Técnicas: Demuestra cómo JAF unifica el refinamiento autónomo iterativo, la exploración de múltiples CoT y el aprendizaje de ensamble en un único mecanismo consciente de la cohorte, implementando efectivamente la propagación de creencias y los principios de los bosques aleatorios mediante el aprendizaje en contexto.
4. Métricas de Estabilidad Probabilística: Introduce un método para estimar la confianza de la decisión mediante el muestreo de vecindarios aleatorizados, proporcionando una señal robusta para identificar casos inestables o ambiguos.

4. Resultados Experimentales

Los autores validan JAF en la exigente tarea del triaje de configuraciones erróneas en la nube, un dominio que requiere la síntesis de roles de software, exposición de red y políticas de IAM.

• Configuración: Se procesó una cohorte de 315 activos con configuraciones erróneas por un agente primario (Llama3.3-Nemotron-Super-49B-v1.5). El baseline utilizó un refinamiento autónomo iterativo aislado; JAF utilizó un refinamiento consciente de la cohorte con un muestreo de vecindario simple basado en objetivos (sin embeddings ni LSH en este estudio inicial).
• Métricas: La evaluación utilizó un juez probabilístico para medir la probabilidad de corrección empírica ($\hat{p}_i$) de las respuestas finales bajo diversos contextos de pares.
• Hallazgos:
  • Mayor Precisión y Estabilidad: Después de solo 5 iteraciones de refinamiento, JAF desplazó significativamente la distribución de las probabilidades de corrección hacia valores más altos (la media de $\hat{p}_i$ aumentó, la varianza disminuyó) en comparación con el baseline.
  • Convergencia más Rápida: JAF logró resultados de alta calidad en 5 iteraciones que el baseline no pudo alcanzar incluso después de 10 iteraciones.
  • Robustez: Los análisis basados en JAF fueron menos sensibles a los pares específicos vistos en el contexto, lo que indica un razonamiento subyacente más sólido.
  • Identificación de Casos Difíciles: Ambos métodos identificaron una cola de casos de baja confianza, pero JAF redujo consistentemente el número de tales instancias frágiles, resaltando naturalmente los problemas más difíciles para la revisión humana.

5. Significado y Reivindicaciones

El artículo afirma que JAF representa un cambio fundamental en la forma en que los sistemas agénticos manejan la evaluación y el refinamiento. Al situar la inferencia conjunta en la capa del juez, JAF mantiene la modularidad del agente mientras promueve el flujo de información entre las entradas.

• Escalabilidad: El marco está diseñado para manejar cohortes grandes y heterogéneas (cientos o miles de casos de contexto largo) donde los enfoques locales a la instancia fallan al no capturar las dependencias.
• Aplicabilidad General: Aunque motivado por la seguridad en la nube, los autores afirman que JAF es ampliamente aplicable a cualquier dominio que requiera un refinamiento coherente y consciente del contexto de grandes cohortes de decisiones de modelos.
• Reivindicaciones Modestas: Los autores enfatizan que incluso una instanciación "ingenua" de JAF (sin LSH sofisticado o embeddings) produce mejoras sustanciales. Posicionan la maquinaria de LSH y la integración de RL como trabajo futuro para optimizar aún más el rendimiento, en lugar de ser prerrequisitos para los beneficios principales del marco. El artículo no pretende reemplazar el ajuste fino supervisado (SFT), sino sugiere que JAF puede actuar como un precondicionador para producir etiquetas pseudo de mayor calidad para el SFT.

En resumen, JAF une los principios de la propagación de creencias y el aprendizaje de ensamble para crear una capa de evaluación robusta y sensible al contexto que permite a los sistemas agénticos aprender del comportamiento colectivo de una cohorte, en lugar de solo de instancias individuales.