Optimization before Evaluation: Evaluation with Unoptimised Prompts Can be Misleading

A continuación se presenta un resumen técnico detallado del artículo "Optimización antes de la Evaluación: La Evaluación con Prompts No Optimizados Puede Ser Engañosa" de Sadjoli et al.

1. Planteamiento del Problema

Los marcos actuales de evaluación de Modelos de Lenguaje Grandes (LLM) (por ejemplo, BigBench, LM Eval Harness, HELM) dependen predominantemente de plantillas de prompts estáticas. En estos marcos, un único prompt no optimizado se aplica de manera uniforme a todos los modelos que están siendo evaluados.

Los autores argumentan que este enfoque es fundamentalmente defectuoso para el desarrollo centrado en aplicaciones porque:

• La Calidad del Prompt es una Variable: La calidad y el estilo del prompt impactan significativamente las capacidades de un modelo para seguir instrucciones y su rendimiento general.
• Clasificaciones Engañosas: Al tratar el prompt como una constante fija, las pruebas de referencia no logran capturar el rendimiento máximo potencial de un modelo cuando se combina con un prompt optimizado.
• Desconexión con la Industria: Mientras que las pruebas de referencia académicas utilizan prompts estáticos, los profesionales de la industria utilizan rutinariamente técnicas de Optimización de Prompts (PO) para ajustar los prompts a modelos y tareas específicos con el fin de maximizar el rendimiento.

La hipótesis central es que evaluar modelos con prompts no optimizados conduce a clasificaciones de modelos incorrectas y a una selección de modelos subóptima para tareas del mundo real.

2. Metodología

Los autores realizaron experimentos comparando evaluaciones estándar con prompts estáticos frente a evaluaciones donde los prompts fueron optimizados para cada modelo específico.

Configuración Experimental

• Modelos: Se evaluaron cinco LLMs líderes (tres multimodales de código cerrado y dos de texto únicamente con pesos abiertos). Los nombres de los modelos fueron anonimizados (Modelo A–E).
• Conjuntos de Datos: Una mezcla de pruebas de referencia académicas públicas y conjuntos de datos internos de la industria:
  • Código abierto: GSM8K (Matemáticas), OpenbookQA, MMLU (Multitarea).
  • Internos: Enrutamiento de Asistente Digital, Documentación de Ayuda de Copilot, Consultoría de Copilot, Texto-a-SQL, EDDE (Extracción de Documentos).
• Técnicas de Optimización: Se implementaron dos tipos de Optimización de Prompts (PO) utilizando GPT-4o como "crítico" u optimizador:
  1. Optimización Solo de Instrucciones: Utilizando el marco TextGrad para optimizar las instrucciones del sistema y de la tarea ($I$).
  2. Optimización de Instrucciones con Ejemplos: Utilizando el marco MIPRO (vía DSPy) para optimizar tanto las instrucciones como los ejemplos de pocos disparos ($I + E$).
• Métrica de Evaluación: Se utilizó la Tau de Kendall ($\tau$) para medir la correlación entre las clasificaciones de modelos derivadas de prompts estáticos frente a prompts optimizados.

3. Contribuciones Clave

1. Evidencia Empírica de Inestabilidad en la Clasificación: El artículo proporciona la primera evidencia a gran escala de que la Optimización de Prompts altera drásticamente las clasificaciones de los modelos. Los modelos que parecen "mejores" bajo prompts estáticos a menudo caen en la clasificación cuando se utilizan prompts optimizados, y viceversa.
2. Cuantificación de la Sensibilidad: El estudio demuestra que diferentes modelos exhiben niveles variables de sensibilidad a la optimización de prompts dependiendo de la complejidad de la tarea.
3. Recomendación Metodológica: Los autores proponen que la Optimización de Prompts debe ser un paso estándar y obligatorio en las tuberías de evaluación de modelos centradas en aplicaciones, en lugar de un paso opcional de post-procesamiento.

4. Resultados Clave

A. Cambios Significativos en la Clasificación

• Correlación Débil: La correlación entre las clasificaciones utilizando prompts estáticos y prompts optimizados es muy débil.
  • PO solo de instrucciones: Tau de Kendall medio $\approx 0.23$.
  • PO de instrucciones con ejemplos: Tau de Kendall medio $\approx 0.36$.
  • Un valor de $\tau$ cercano a 0 indica que las clasificaciones están casi sin correlación, lo que significa que el modelo "mejor" cambia con frecuencia.
• Ejemplos Específicos:
  • En GSM8K, los prompts estáticos sugirieron que el Modelo B era el mejor, pero después de la optimización solo de instrucciones, el Modelo D se convirtió en el mejor rendimiento.
  • En MMLU, el Modelo B fue el primero con prompts estáticos, pero el Modelo D tomó la delantera después de la optimización.

B. Mejoras en el Rendimiento

• Ganancia General: La PO mejoró generalmente las puntuaciones absolutas de rendimiento de los modelos en todos los conjuntos de datos.
• Rendimiento Máximo: Para objetivos centrados en aplicaciones, la PO permite a los profesionales descubrir el techo de rendimiento máximo real de una combinación modelo-prompt. Por ejemplo, el Modelo A en el conjunto de datos "Documentación de Ayuda de Copilot" vio un aumento del 6.9% en la puntuación máxima después de la optimización solo de instrucciones.

C. Sensibilidad de la Tarea

• Tareas Complejas vs. Simples: La PO obtuvo los beneficios más significativos para tareas complejas y abiertas (por ejemplo, GSM8K, Consultoría de Copilot).
• Rendimientos Decrecientes: Para tareas donde los modelos ya desempeñan un rendimiento casi perfecto (por ejemplo, OpenbookQA, Enrutamiento de Asistente Digital), la PO proporcionó ganancias mínimas o, en algunos casos, degradó el rendimiento debido a una sobre-optimización o instrucciones redundantes.

D. Casos Negativos (Modos de Fallo)

El artículo también destaca instancias donde la PO disminuyó el rendimiento:

• Confusión de Formato: En OpenbookQA, la optimización añadió instrucciones de razonamiento verbosas que confundieron al analizador de métricas, causando que una respuesta correcta fuera marcada como incorrecta.
• Malinterpretación de Ejemplos: En MMLU, un prompt optimizado causó que un modelo tratara los ejemplos de pocos disparos como preguntas de prueba reales, lo que llevó a una cascada de errores. Esto sugiere la necesidad de comprobaciones de compatibilidad entre el optimizador ("crítico") y el modelo objetivo.

5. Significado y Conclusión

El artículo desafía fundamentalmente el estado actual de las pruebas de referencia de LLM. Argumenta que los prompts estáticos son insuficientes para seleccionar el mejor modelo para una aplicación específica.

• Para los Profesionales: Confiar en tablas de clasificación públicas con prompts estáticos puede llevar a seleccionar un modelo subóptimo. Para asegurar el mejor retorno de inversión (ROI) y rendimiento, las organizaciones deben realizar optimización de prompts por modelo antes de la evaluación final.
• Para los Investigadores: Los futuros marcos de pruebas de referencia deben integrar la PO automatizada como un componente central de la tubería de evaluación para reflejar con precisión los escenarios de aplicación del mundo real.

Conclusión: Los autores concluyen que "Optimización antes de la Evaluación" no es solo una buena práctica, sino una necesidad. Ignorar la optimización de prompts conduce a pruebas de referencia engañosas y potencialmente costosos errores en la selección de modelos para sistemas de producción.