Resumen Técnico: Proyecto KALEIDOSCOPE

Declaración del Problema

La evaluación de aplicaciones de Modelos de Lenguaje de Gran Escala (LLM) para su despliegue en el mundo real enfrenta un cuello de botella crítico: los benchmarks públicos rara vez se alinean con los usuarios, contextos, políticas o tolerancias al riesgo específicos de una organización. Si bien existen benchmarks de capacidad general, estos no logran capturar los matices de lo que constituye un buen desempeño en contextos funcionales (por ejemplo, un bot de RR. HH. que requiere respuestas fundamentadas en políticas frente a un bot de matemáticas que requiere soluciones paso a paso). Los procesos de evaluación organizacional actuales suelen ser manuales, fragmentados y tediosos de escalar. Las herramientas existentes abordan partes del flujo de trabajo (generación de pruebas, puntuación, registro), pero carecen de un sistema integrado que combine la construcción contextual de pruebas, rúbricas configurables, calibración humana y una puntuación automatizada con control de fiabilidad en un flujo de trabajo único e inspeccionable.

Metodología: El Flujo de Trabajo KALEIDOSCOPE

KALEIDOSCOPE es un flujo de trabajo de extremo a extremo diseñado para la evaluación funcional contextual. Opera sobre cuatro consideraciones de diseño fundamentales: (1) casos de prueba representativos, (2) rúbricas configurables, (3) una experiencia optimizada de Humano en el Bucle (HITL), y (4) una puntuación automatizada transparente con control de fiabilidad. El flujo de trabajo procede a través de las siguientes etapas:

1. Definición de la Aplicación Objetivo: Los usuarios especifican el propósito de la aplicación, los usuarios objetivo y la base de conocimientos. El sistema puede recuperar opcionalmente información de la web pública para fundamentar la configuración si el contexto proporcionado por el usuario es escaso.
2. Generación de Pruebas Basada en Personas: En lugar de conjuntos de datos estáticos, KALEIDOSCOPE genera casos de prueba variando cinco dimensiones: Persona (trasfondo/estilo del usuario), Tipo (casos típicos frente a casos límite), Alcance (dentro de la base de conocimientos frente a fuera de la base de conocimientos), Estilo de Entrada (breve frente a detallado) e Idioma. Esto asegura la cobertura de escenarios de usuario realistas.
3. Revisión y Anotación Humana: El sistema recopila las respuestas de la aplicación y guía a los revisores humanos para etiquetar un conjunto de calibración. Para reducir el sesgo de automatización, la interfaz utiliza un flujo de trabajo asistido por LLM donde el LLM sugiere etiquetas y resalta evidencia, pero el revisor humano debe seleccionar activamente una etiqueta de las opciones de la rúbrica en lugar de simplemente aprobar o rechazar. Esto establece un conjunto de referencia confiable.
4. Rúbricas de Evaluación: Los usuarios definen rúbricas personalizadas mediante lenguaje natural o seleccionan preajustes. El sistema emplea un aumentador basado en LLM para reescribir los criterios definidos por el usuario en prompts de juez estructurados. Crucialmente, el diseño favorece un enfoque de "una métrica por prompt de juez" para evitar la degradación del rendimiento observada cuando un solo prompt intenta puntuar múltiples dimensiones.
5. Puntuación Automatizada y LLM como Jurado (LLM-as-a-Jury):
   • Para cada rúbrica, se instancia tres candidatos a jueces LLM.
   • Los jueces son evaluados contra el conjunto de calibración etiquetado por humanos.
   • Control de Fiabilidad (Reliability Gate): Solo los jueces que logran un Macro F1 > 0.5 en el conjunto de calibración son elegibles para la agregación.
   • Agregación: Las puntuaciones de los jueces elegibles se agregan mediante votación por mayoría. Si ningún juez supera el control, el sistema retiene la puntuación automatizada y marca la rúbrica para revisión humana.
   • Análisis de Errores: Los desacuerdos entre jueces se exponen para identificar ejemplos ambiguos o áreas que requieren una inspección humana más cercana.

Contribuciones Clave

1. Artefacto de Flujo de Trabajo: La presentación de KALEIDOSCOPE como un flujo de trabajo práctico, inspeccionable e iterativo para la evaluación funcional contextual, que cubre el ciclo de vida completo desde la configuración del objetivo hasta el análisis de errores.
2. Diseño de Rúbricas y de Juez: Un enfoque novedoso para criterios de evaluación configurables que utiliza puntuación a nivel de afirmación o de respuesta y emplea un mecanismo de "jurado" con control de fiabilidad. Este mecanismo agrega puntuaciones solo cuando los jueces LLM demuestran alineación con las etiquetas revisadas por humanos, mitigando los riesgos de una puntuación automatizada no calibrada.
3. Evidencia Empírica: Resultados preliminares de un piloto de tres semanas a través de cuatro casos de uso organizacionales (Finanzas, RR. HH., Compras, Asistente de Personal) y experimentos sobre 108 pares de preguntas y respuestas anotados en 14 dimensiones de evaluación.

Resultados y Hallazgos

• Usabilidad del Piloto: En un piloto que involucró a ocho usuarios de cuatro equipos, el 83% de los encuestados reportó que KALEIDOSCOPE ayudó a evaluar las aplicaciones de manera más eficiente. Todos los encuestados consideraron la puntuación de fiabilidad del juez al interpretar los resultados, lo que indica que la señal de calibración es relevante para la toma de decisiones.
• Experimentos de Rúbricas:
  • Multi-Métrica vs. Única Métrica: Los experimentos que compararon jueces multi-métricos (que puntúan múltiples criterios en un solo prompt) contra jueces de una sola métrica revelaron que estrechar el alcance mejoró la alineación. Por ejemplo, los jueces de una sola métrica para "empatía" y "verborragia" mostraron mejoras en el $\kappa$ de Cohen de +15.2% y +11.6% respectivamente sobre la línea base multi-métrica.
  • Iteración de Prompts: Iterar sobre los prompts dentro de los marcos multi-métricos no mejoró consistentemente el rendimiento y, en ocasiones, lo degradó, lo que sugiere una sobrecarga de alcance.
  • Aumento de Prompts: El uso de un LLM para aumentar las rúbricas definidas por el usuario en prompts específicos de la métrica arrojó resultados mixtos. Mejoró el rendimiento para "estructura" pero no para "especificidad", lo que sugiere que la efectividad del aumento depende del criterio específico y de la ambigüedad de los límites de la anotación humana.
• Revisiones de Diseño: La retroalimentación de los usuarios condujo a revisiones en la asignación de casos de prueba (cambiando de una distribución uniforme a proporciones de uso realistas), la adición de fundamentación mediante búsqueda web en el backend para contextos escasos, y la inclusión de puntos de importación/exportación para integrarse con los procesos de evaluación existentes.

Significación y Reivindicaciones

El artículo posiciona a KALEIDOSCOPE no como un benchmark universal o una solución para la fiabilidad general de los jueces LLM, sino como un artefacto de flujo de trabajo práctico para equipos de producto. Su significación radica en:

• Alineación Contextual: Desplazar el enfoque de la evaluación de capacidades generales hacia una evaluación funcional específica de la aplicación que respete las políticas y la gobernanza locales.
• Control de Fiabilidad: Proporcionar un mecanismo para condicionar la puntuación automatizada tras una alineación verificada por humanos, asegurando que las puntuaciones automatizadas solo se utilicen cuando cumplan con un umbral de fiabilidad configurado.
• Inspeccionabilidad: Crear un proceso transparente donde los desacuerdos de los jueces y los fallos de calibración sean visibles, permitiendo a los equipos entender por qué se generó una puntuación o por qué se retuvo.

Los autores reivindican modestamente que el piloto proporciona "evidencia temprana" y "evidencia temprana de usabilidad" en lugar de una validación definitiva. Reconocen que el flujo de trabajo actual es más sólido para la evaluación de entrada-salida y que se necesita trabajo futuro para extender el alcance a sistemas de agentes complejos, flujos de trabajo de múltiples turnos y trazas de generación aumentada por recuperación (RAG). El objetivo final es productizar estas lecciones en una plataforma de pruebas más amplia que cierre el ciclo desde el diagnóstico hasta la mejora dirigida.