LLM-as-a-Judge for Human-AI Co-Creation: A Reliability-Aware Evaluation Framework for Coding

Aquí se presenta un resumen técnico detallado del artículo "LLM-as-a-Judge for Human-AI Co-Creation: A Reliability-Aware Evaluation Framework for Coding".

1. Declaración del Problema

El artículo aborda una brecha crítica en la evaluación de la Co-Creación Humano-IA en la programación e ingeniería de software (SE). Si bien los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más tanto como socios de co-creación como evaluadores ("LLM-como-Juez"), los protocolos de evaluación existentes suelen ser insuficientes para este contexto específico:

• Limitaciones de las Métricas Legadas: La evaluación tradicional de la programación se basa en resultados finales (por ejemplo, casos de prueba de aprobación/rechazo), lo cual no logra capturar el valor de los artefactos intermedios, soluciones parciales, hipótesis de depuración y el proceso de razonamiento iterativo inherente a la co-creación.
• Fiabilidad y Sesgo: Los jueces LLM son propensos a sesgos (por ejemplo, favorecer respuestas más largas, sesgo de posición) e inconsistencias. Existe una falta de frameworks estandarizados y auditables que aseguren que las salidas de los jueces sean fiables, comparables entre diferentes modelos e interpretables a lo largo de interacciones de múltiples turnos.
• Riesgos de Fuga de Datos: En entornos de co-creación, múltiples intentos del mismo usuario sobre el mismo problema crean "trayectorias". La división aleatoria estándar puede provocar fugas de datos, donde el juez ve información de un turno posterior durante la evaluación de un turno anterior.

2. Metodología

Los autores proponen un framework unificado y basado en rúbricas de LLM-como-Juez diseñado específicamente para la co-creación humano-IA estilo concurso. La metodología consta de tres etapas principales:

A. Procesamiento de Datos y Construcción del Conjunto de Datos

• Fuente: Los datos se recopilaron de la pista de co-creación permitida por IA de las Finales de PC Koshien (PCK), donde los participantes resolvieron los mismos problemas que en el concurso oficial pero se les permitió utilizar herramientas de IA.
• Agrupación de Trayectorias: Los datos se organizan en trayectorias definidas por pares (participante, problema) para prevenir fugas.
• Contexto NO CIEGO: Para simular una evaluación realista, se proporciona a los jueces un contexto agregado a nivel de participante ($Q_u$), que concatena todos los registros de prompts de ese participante. Esto asegura que el juez tenga el historial completo de la interacción del usuario al evaluar un intento específico.
• Restricciones de Esquema: Se obliga a los jueces a emitir salidas JSON estructuradas en lugar de texto libre, que contienen:
  • $p_a$: Probabilidad predicha de aceptación.
  • $s_{algo}$: Puntuación ordinal (1-5) para la adecuación algorítmica.
  • $s_{robust}$: Puntuación ordinal (1-5) para la robustez/satisfacción de restricciones.
  • $r$: Breve justificación.

B. Pipeline de Inferencia LLM-como-Juez

• Evaluación Multi-Modelo: Se evaluaron cuatro jueces LLM distintos: OpenAI (gpt-5.2), DeepSeek (reasoner), Gemini (2.5-pro) y Claude (sonnet-4).
• Verificación y Reparación: El pipeline incluye un paso robusto de verificación. Si una llamada a la API falla o devuelve JSON mal formado, el sistema reintenta con retroceso. Solo se aceptan salidas que satisfagan restricciones estrictas de esquema (por ejemplo, probabilidad en [0,1], puntuaciones ordinales válidas).
• Estrategia de División: Se aplica una división agrupada (Entrenamiento/Validación/Prueba) a nivel de (participante, problema).
  • Validación: Se utiliza para seleccionar el umbral de decisión óptimo ($t^*$) maximizando el Coeficiente de Correlación de Matthews (MCC).
  • Prueba: Se utiliza exclusivamente para el informe final para asegurar que no haya fugas de datos.

C. Métricas de Evaluación

El framework emplea un protocolo multi-métrico para evaluar tanto a los jueces como a las dinámicas de co-creación:

1. Métricas de Calidad del Juez:
   • Discriminación: ROC-AUC y PR-AUC (capacidad de clasificación).
   • Fiabilidad Probabilística: LogLoss, Puntuación Brier y Error de Calibración Esperado (ECE).
   • Calidad de Decisión: MCC utilizando el umbral seleccionado en el conjunto de validación.
   • Acuerdo Inter-Juez: $\kappa$ de Cohen (pareado) y $\kappa$ de Fleiss (multi-evaluador).
2. Métricas de Dinámicas de Co-Creación:
   • Éxito@Turno: Fracción acumulada de trayectorias resueltas en el turno $k$.
   • Tiempo-Hasta-Éxito: Analizado mediante análisis de supervivencia de Kaplan-Meier (manejando la censura a la derecha para trayectorias no resueltas).
   • Comportamiento de Revisión: Medido utilizando la Distancia de Edición Normalizada (NED) para cambios a nivel superficial y CodeBLEU para similitud/convergencia consciente del código.

3. Contribuciones Clave

• Framework Consciente de la Fiabilidad: Introduce un pipeline riguroso para la evaluación por LLM que incluye salidas restringidas por esquema, mecanismos de reparación automatizados y división agrupada para prevenir fugas de trayectorias.
• Suite de Evaluación Multi-Métrica: Va más allá del informe de una sola métrica al analizar conjuntamente la discriminación, la calibración, la calidad de la decisión y el acuerdo inter-juez.
• Análisis a Nivel de Trayectoria: Proporciona un método novedoso para analizar patrones de interacción humano-IA (curvas de lucha, análisis de supervivencia) en lugar de solo resultados finales.
• Puente Empírico: Conecta los campos de la fiabilidad de "LLM-como-Juez" y las dinámicas de "Co-Creación Humano-IA" dentro de un único entorno empírico reproducible.

4. Resultados Clave

A. Rendimiento del Juez

• Discriminación: DeepSeek y Claude lograron el ROC-AUC más alto (0.5937), con DeepSeek liderando en PR-AUC (0.6904). Gemini tuvo el rendimiento más débil (ROC-AUC 0.4250).
• Calibración: DeepSeek mostró la mejor calibración (ECE más bajo: 0.2819), mientras que Gemini y Claude exhibieron errores más altos.
• Calidad de Decisión: DeepSeek logró el MCC umbralizado más alto en el conjunto de prueba (0.5000) con un umbral conservador (0.81).
• Acuerdo Inter-Juez: La consistencia fue modesta en general.
  • $\kappa$ de Cohen pareado medio: 0.1592.
  • $\kappa$ de Fleiss: 0.0696.
  • Implicación: Los jueces no son intercambiables; exhiben sesgos y fortalezas distintos, lo que refuerza la necesidad de informes multi-métricos en lugar de depender de un solo modelo.

B. Dinámicas de Co-Creación Humano-IA

• Éxito Concentrado al Inicio: El éxito está fuertemente concentrado en los primeros turnos.
  • Éxito@Turno alcanzó 0.8533 en el primer turno observado.
  • Para el turno 6, solo aumentó a 0.8641.
  • El análisis de Kaplan-Meier confirma que las trayectorias que se extienden más allá de los primeros pocos turnos muestran rendimientos decrecientes.
• Patrones de Revisión Heterogéneos: No existe un único estilo de revisión "correcto".
  • Tanto la refinación incremental (cambios pequeños) como la reestructuración amplia (cambios grandes) condujeron a resultados exitosos.
  • La similitud consciente del código (CodeBLEU) mostró que las trayectorias exitosas tienden a converger estructuralmente hacia la solución aceptada, independientemente de la magnitud de los cambios intermedios.
• Disimilitud Prompt-Código: Los altos valores de NED entre los prompts y el código confirmaron que el contexto del juez (lenguaje natural) y la solución (código) son léxicamente distintos, validando la naturaleza no trivial de la tarea de evaluación.

5. Significado e Implicaciones

• Más Allá de la Corrección Final: El estudio demuestra que evaluar la programación asistida por IA requiere observar el proceso (trayectoria), no solo el producto. Los patrones de éxito temprano sugieren que la co-creación efectiva depende de la iteración y verificación rápidas en lugar de un prolongado ensayo y error.
• Jueces como Instrumentos, No como Oráculos: Los resultados destacan que los jueces LLM son instrumentos de medición con "puntos ciegos" y fortalezas específicos. Ninguna métrica única (por ejemplo, precisión) captura su utilidad completa; una visión multidimensional es esencial para una investigación auditable.
• La Experiencia Humana Sigue Siendo Central: Los hallazgos sugieren que la IA no reemplaza el juicio humano, sino que lo reorienta. La capacidad de evaluar salidas intermedias, reconocer el estancamiento y dirigir las revisiones sigue siendo la habilidad humana crítica en la co-creación.
• Reproducibilidad: El framework propuesto ofrece una plantilla para estudios futuros que evalúen la programación asistida por IA con transparencia, asegurando que los protocolos de evaluación sean robustos frente a fugas de datos y sesgos específicos del modelo.

En conclusión, este artículo proporciona una metodología fundamental para evaluar rigurosamente cómo los humanos y la IA colaboran para resolver problemas complejos de programación, estableciendo simultáneamente un estándar consciente de la fiabilidad para el uso de LLMs como jueces en entornos tan dinámicos.