PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows

Resumen Técnico: PROTEA

Enunciado del Problema
Los flujos de trabajo de Modelos de Lenguaje de Gran Escala (LLM) multiagente, que componen múltiples llamadas a LLM específicas de roles en un grafo acíclico dirigido (DAG), a menudo superan a las líneas base de un solo prompt. Sin embargo, refinar estos sistemas es una tarea compleja de depuración a nivel de sistema. Las fallas en la salida final suelen derivarse de errores sutiles en las salidas de nodos intermedios que se propagan aguas abajo. Las herramientas de evaluación actuales (por ejemplo, AgentBench, OpenAI Evals, RAGAs) generalmente se centran en métricas de éxito de extremo a extremo o en la evaluación a nivel de componente (como la relevancia de la recuperación), pero carecen de diagnóstico consciente del grafo. En consecuencia, los desarrolladores deben inspeccionar manualmente trazas de ejecución largas para inferir qué nodo modificar y cómo revisar su prompt. Además, en entornos de producción realistas, los equipos a menudo poseen etiquetas solo para la salida terminal, lo que hace que la creación de salidas de referencia para cada nodo intermedio sea costosa e impracticable.

Metodología: El Marco PROTEA
PROTEA es una interfaz unificada, offline y basada en pruebas, diseñada para el refinamiento iterativo de flujos de trabajo de LLM multiagente. Opera en un bucle de iteración de suite fija: ejecutar el flujo de trabajo, evaluar nodos intermedios, localizar cuellos de botella, revisar prompts y reevaluar. El sistema se construye en torno a tres mecanismos centrales:

1. Evaluación de Nodos hacia Atrás: Para abordar la escasez de referencias intermedias, PROTEA genera expectativas a nivel de nodo candidatas a partir de la referencia de la respuesta final y el contexto del grafo. Formalmente, comenzando con la señal de supervisión del nodo final ($y^*_{final}$), el sistema utiliza un paso de generación de referencia ($M_{gen}$) para inferir la salida requerida para los nodos aguas arriba basándose en los requisitos aguas abajo. Esto permite que el sistema evalúe los nodos intermedios en orden topológico inverso, comparando las salidas observadas ($y_v$) con estas expectativas generadas ($\hat{y}_v$) para producir puntuaciones y fundamentos.
2. Diagnóstico Basado en Grafos: PROTEA superpone estados por nodo (PASO/ADVERTENCIA/FALLO) y fundamentos del evaluador directamente sobre el grafo del flujo de trabajo. Los nodos se ordenan por estado y puntuación, guiando a los desarrolladores hacia los cuellos de botella probables sin requerir inspección manual de trazas.
3. Refinamiento Localizado de Prompts: Para un nodo seleccionado, PROTEA propone revisiones de prompts dirigidas ($I'_v$) basadas en el fundamento del evaluador. Estas se presentan como comparaciones editables de "antes/después". El sistema hace cumplir restricciones para preservar el paso de variables, los formatos de salida y para evitar la filtración de contenido específico de las pruebas en los prompts. Tras la aceptación, el flujo de trabajo se vuelve a ejecutar automáticamente en la suite de pruebas offline para rastrear las trayectorias de puntuación y verificar las mejoras.

Contribuciones Clave

• Interfaz Unificada para Refinamiento Iterativo: PROTEA integra la ejecución, evaluación, diagnóstico y edición de prompts en un solo bucle, reduciendo el esfuerzo manual requerido para traducir la evidencia de evaluación en correcciones.
• Inferencia hacia Atrás para Supervisión: El sistema introduce un método para generar expectativas de nodos intermedios a partir de respuestas finales, permitiendo una depuración efectiva incluso cuando la verdad fundamental intermedia no está disponible.
• Flujo de Trabajo Centrado en el Desarrollador: A diferencia de los métodos de optimización automática (por ejemplo, DSPy, OPRO) que optimizan contra una función objetivo de forma autónoma, PROTEA pone de manifiesto cuellos de botella candidatos y propone revisiones inspeccionables, permitiendo a los desarrolladores adoptar, editar o revertir cambios en contexto.

Resultados Experimentales
Los autores evaluaron PROTEA mediante dos estudios de flujos de trabajo adyacentes a la producción, una prueba de estrés de iteración automática y un estudio formativo con usuarios con seis desarrolladores experimentados de LLM.

• Estudios Adyacentes a la Producción:
  • Inspección de Documentos: En un flujo de trabajo empresarial de 5 nodos, el refinamiento iterativo mejoró la precisión de inspección de documentos del 64.3% al 83.9%.
  • Recomendación Conversacional: En un flujo de trabajo de recomendación de 6 nodos, la métrica Hit@5 mejoró de 0.30 a 0.38.
  • En ambos casos, el sistema ayudó a rastrear la propagación de restricciones y redujo la necesidad de leer trazas largas de extremo a extremo.
• Prueba de Estrés de Iteración Automática:
  • El sistema se probó en 11 flujos de trabajo generados independientemente. En un subconjunto de 5 flujos de trabajo con prompts iniciales mínimos, el modo "AUTO LOOP" (ciclo automatizado de propuesta-retención) logró las mejores puntuaciones más altas que una línea base sin reescritura en 4 de 5 casos.
  • Las ganancias notables incluyeron un salto de 0.186 a 0.800 en un flujo de trabajo de programación de cursos.
  • Se observaron limitaciones en tareas con criterios casi binarios (por ejemplo, problemas de palabras de coincidencia exacta), donde la falta de señales graduadas para el razonamiento intermedio obstaculizó la optimización.
• Estudio con Usuarios:
  • Seis desarrolladores experimentados encontraron valor en la localización a nivel de grafo, los fundamentos por nodo y la capacidad de comparar revisiones de prompts con reejecuciones automáticas.
  • Los participantes identificaron prioridades futuras que incluyen la calibración del evaluador, la integración con cadenas de herramientas existentes (CI/CD) y el soporte de versionado.

Significado y Afirmaciones
El artículo afirma que PROTEA aborda una brecha crítica en el ciclo de vida de la ingeniería de LLM: la dificultad de depurar sistemas complejos y multiagente donde la supervisión se limita a las salidas finales. Al combinar la inferencia hacia atrás con una interfaz de desarrollador en el bucle, PROTEA permite un refinamiento rápido y basado en pruebas sin requerir un etiquetado manual exhaustivo de pasos intermedios. Los autores posicionan la herramienta como complementaria a la optimización automática de prompts; mientras que métodos como DSPy optimizan el comportamiento del programa contra un objetivo, PROTEA se centra en el flujo de trabajo del desarrollador para grafos multiagente concretos, poniendo de manifiesto cuellos de botella específicos y accionables y correcciones localizadas. Los resultados sugieren que dicha interfaz puede mejorar significativamente el rendimiento del flujo de trabajo (por ejemplo, +19.6% de precisión en inspección de documentos) mientras reduce la carga cognitiva asociada con el rastreo de errores a través de grafos de agentes complejos.