Resumen Técnico: Una sola instrucción no es suficiente: la sensibilidad a las instrucciones socava la evaluación de modelos de incrustación

Declaración del Problema

Los modelos de incrustación ajustados mediante instrucciones se han convertido en un estándar en las aplicaciones de PLN de última generación, incluida la generación aumentada por recuperación (RAG), la búsqueda semántica y la memoria de agentes. Sin embargo, las prácticas actuales de evaluación, principalmente dentro de marcos como BEIR y MTEB (Massive Text Embedding Benchmark), dependen de una evaluación de punto único que utiliza una sola instrucción por tarea.

Este artículo identifica un defecto crítico en esta metodología: los modelos basados en instrucciones son inherentemente sensibles a la redacción de la instrucción (prompt). Al evaluar los modelos con una sola instrucción, las pruebas de referencia no logran capturar la distribución del rendimiento a través de instrucciones plausibles. Este enfoque de punto único corre el riesgo de distorsionar las capacidades reales del modelo, lo que podría llevar a una deflación de la instrucción (subestimar el rendimiento) o a una inflación de la instrucción (sobreestimar el rendimiento). Además, el sistema actual permite el "hackeo de instrucciones", donde los desarrolladores pueden seleccionar selectivamente instrucciones que maximizan la puntuación de su modelo, distorsionando los rankings de las clasificaciones sin alterar los pesos del modelo ni los datos de entrenamiento.

Metodología

Los autores realizaron un estudio empírico para cuantificar el impacto de la variación de la instrucción en el rendimiento del modelo de incrustación.

• Alcance: El estudio evaluó 6 modelos de incrustación de pesos abiertos (incluyendo Qwen3-Embedding-0.6B, multilingual-e5-large-instruct, KaLM-embedding-multilingual-mini-instruct-v2.5 y tres variantes de BGE: small, base y large) a través de 11 tareas diversas. Estas tareas abarcaron recuperación, clasificación, agrupamiento y similitud textual semántica (STS).
• Generación de Instrucciones: Para cada una de las 11 tareas, los autores sintetizaron 15 instrucciones específicas de la tarea utilizando gpt-oss-120b. Estas instrucciones fueron diseñadas para asemejarse al uso por parte de profesionales en el mundo real, variando en redacción mientras permanecían coherentes y relevantes. Los autores validaron que las instrucciones sintéticas produjeron distribuciones de puntuación comparables a las instrucciones escritas por humanos.
• Evaluación: Los modelos se ejecutaron en las 11 conjuntos de datos utilizando las 15 instrucciones por tarea, lo que resultó en un total de 990 evaluaciones (6 modelos × 11 tareas × 15 instrucciones).
• Análisis: Los autores analizaron:
  1. La distribución de puntuaciones a través de las instrucciones para cada par modelo-tarea.
  2. El Coeficiente de Variación (CV) para medir la sensibilidad.
  3. La posición de la instrucción "predeterminada" de MTEB en relación con la distribución completa.
  4. La estabilidad de los rankings de las clasificaciones bajo escenarios de selección de instrucciones adversarias.

Resultados Clave

1. Deflación e Inflación de la Instrucción

El estudio encontró que las puntuaciones reportadas de MTEB a menudo distorsionan el rendimiento esperado:

• Deflación de la Instrucción: Para varios modelos (por ejemplo, variantes de BGE en TweetSentimentClassification y STS22.v2), la instrucción predeterminada arrojó puntuaciones en la cola inferior de la distribución, subestimando significativamente el potencial del modelo.
• Inflación de la Instrucción: Por el contrario, algunos modelos (por ejemplo, Qwen3 en MIRACL) lograron puntuaciones reportadas en la cola superior o modos secundarios de la distribución, inflando artificialmente su calidad percibida.

2. Alta Sensibilidad (Pregunta de Investigación 1)

Los modelos exhiben una sensibilidad significativa a las variaciones de la instrucción. Si bien los Coeficientes de Variación (CV) medianos fueron moderados (2–6%), las combinaciones específicas de modelo-tarea mostraron una varianza extrema, con CV de tareas individuales alcanzando 30–45%. Esto indica que el rendimiento no es robusto frente a la elección de la instrucción para muchas configuraciones.

3. Inestabilidad de las Clasificaciones (Pregunta de Investigación 2)

El estudio demostró que los rankings de las clasificaciones no son robustos frente a la selección de instrucciones.

• Selección Adversaria: Al asignar a un modelo objetivo su instrucción de mejor rendimiento mientras se asigna a los competidores sus instrucciones peores (o predeterminadas), cualquier modelo del estudio podría ser promovido al puesto 1. Por ejemplo, bge-small-en-v1.5, que ocupó el último lugar bajo condiciones predeterminadas, podría convertirse en el mejor rendimiento.
• Optimización No Adversaria: Incluso sin intenciones maliciosas, un solo desarrollador que optimiza su instrucción frente a configuraciones predeterminadas de competidores podría desplazar los rankings significativamente (por ejemplo, bge-large pasando del puesto 5 al puesto 3).

4. Prevalencia del Hackeo de Instrucciones (Pregunta de Investigación 3)

El análisis de las puntuaciones reportadas frente a las distribuciones observadas reveló un patrón sistemático donde la mayoría de los modelos reportan un rendimiento muy por encima de su puntuación esperada mediana. Los autores denominan esto "hackeo de instrucciones": la presentación selectiva de una única instrucción favorable que cumple con las políticas de envío pero explota grados de libertad no divulgados. Este fenómeno es análogo al p-hacking en estadística.

Significado y Recomendaciones

El artículo argumenta que la evaluación de una sola instrucción es insuficiente para los modelos de incrustación ajustados mediante instrucciones. El paradigma actual de pruebas de referencia no logra distinguir entre un modelo que es genuinamente robusto y uno que simplemente tiene suerte con una instrucción específica.

Afirmaciones Clave:

• Las puntuaciones de las pruebas de referencia reportadas a menudo distorsionan la distribución del rendimiento sobre instrucciones plausibles.
• Los rankings de las clasificaciones son frágiles y pueden manipularse mediante la selección de instrucciones, incluso sin modificar el modelo en sí.
• El fenómeno del "hackeo de instrucciones" permite que los modelos se vendan en exceso o en defecto basándose en la instrucción específica elegida para la evaluación.

Recomendaciones:
Los autores proponen que las pruebas de referencia deben transitar de estimaciones de punto único a evaluación de múltiples instrucciones. Esto podría lograrse mediante:

1. Evaluar modelos sobre múltiples instrucciones e informar distribuciones de puntuación o métricas de robustez junto con estimaciones puntuales.
2. Fomentar que los desarrolladores de modelos optimicen para la robustez de la instrucción en lugar del rendimiento máximo en una sola instrucción.
3. Adoptar esquemas de instrucciones limitados y estandarizados (similar a la serie Jina v5) para reducir la variabilidad.

Limitaciones

Los autores reconocen varias limitaciones:

• Alcance del Modelo: El estudio se centró en 6 modelos de pesos abiertos de hasta 0.6B de parámetros; modelos más grandes o de código cerrado podrían exhibir perfiles de sensibilidad diferentes.
• Tamaño de la Muestra: El uso de 15 instrucciones generadas sintéticamente por tarea, aunque validadas contra instrucciones humanas, podría no capturar la diversidad completa de la ingeniería de instrucciones en el mundo real.
• Idioma: El análisis se restringió al inglés; los entornos multilingües podrían introducir sensibilidad adicional debido a artefactos de traducción y redacción específica del idioma.
• Contexto del Profesional: Aunque se enmarca como una amenaza para la validez de las pruebas de referencia, los autores señalan que la sensibilidad a la instrucción puede ser un activo en la práctica, permitiendo a los desarrolladores obtener mejoras de rendimiento con un costo mínimo mediante la búsqueda de instrucciones.