Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation

Resumen Técnico: La Robustez de los Prompts Depende de la Tarea

Planteamiento del Problema
Las evaluaciones actuales de los Modelos de Lenguaje de Gran Escala (LLM), particularmente las evaluaciones de estilo encuesta utilizadas para inferir los valores, creencias o posturas políticas de un modelo, dependen de una suposición frágil: que un único prompt genera una medida estable y significativa del comportamiento del modelo. Investigaciones previas indican que variaciones menores en el formato del prompt, la redacción y la presentación de las respuestas pueden alterar significativamente los resultados del modelo. Esta inestabilidad es crítica para las evaluaciones basadas en encuestas, donde las respuestas se interpretan a menudo como evidencia de la actitud social intrínseca o la alineación política de un modelo. Si la respuesta de un modelo cambia cuando el significado subyacente de la tarea permanece constante, la evaluación confunde la capacidad de la tarea con la sensibilidad al prompt. Este artículo investiga si esta sensibilidad se comporta de manera diferente para preguntas objetivas (con respuestas correctas fijas) frente a preguntas subjetivas (que solicitan opiniones o valores).

Metodología
El estudio emplea un marco unificado de pruebas de robustez a través de dos categorías distintas de conjuntos de datos y cuatro familias de modelos ajustados por instrucciones (Gemma, Llama, Mistral y Qwen).

• Conjuntos de Datos:
  • Tipo-I (Objetivo): MMLU, ARC y CulturalBench-Easy. Estos consisten en preguntas de opción múltiple con claves de respuesta fijas.
  • Tipo-II (Subjetivo): Political Compass Test, ValueBench y elementos del World Values Survey (WVS). Estos consisten en declaraciones basadas en opiniones o escalas de acuerdo sin una única respuesta "correcta".
• Taxonomía de Perturbaciones: Los autores curaron un conjunto de variaciones de prompts diseñadas para preservar la tarea pretendida mientras se alteran las características superficiales. Estas se categorizan en:
  • Encuadre Semántico (Semantic Framing): Parafraseo, sustitución léxica, ruido ortográfico y equivalencia lógica.
  • Forma Superficial (Surface Form): Variación de formato (espaciado, mayúsculas, separadores).
  • Presentación de Respuestas (Answer Presentation): Sustitución de etiquetas (cambiar A/B/C/D por símbolos/números) y reordenamiento de opciones (option shuffling).
• Protocolo Experimental:
  • Todos los modelos se ejecutaron con decodificación determinista (temperatura 0) para aislar los efectos del prompt del ruido de muestreo.
  • Las salidas se normalizaron a etiquetas canónicas (A, B, C, D) para asegurar la consistencia a través de diferentes formatos de prompt.
  • Métrica: La consistencia de la respuesta ($C_i$) se calculó como la relación entre la respuesta más frecuente y el número total de variantes de prompt válidas para un ítem dado.
  • Análisis Estadístico: Los autores utilizaron modelos de Ecuaciones de Estimación Generalizadas (GEE) binomiales para dar cuenta de la no independencia de los ítems que aparecen bajo múltiples variantes de prompt relacionadas. Probaron efectos principales e interacciones para el modelo, el conjunto de datos, el tipo de conjunto de datos y la categoría de prompt.

Resultados Clave
El análisis estadístico revela que la robustez del prompt no es una propiedad uniforme, sino que depende altamente de la interacción entre el tipo de pregunta, la perturbación específica y el modelo.

1. Inestabilidad Subjetiva vs. Objetiva: Los conjuntos de datos subjetivos (Tipo-II) exhiben una consistencia significativamente menor que los conjuntos de datos objetivos (Tipo-I). La consistencia media para los conjuntos de datos objetivos es de 0.849, comparada con 0.787 para los conjuntos de datos subjetivos. Esta brecha es más pronunciada bajo perturbaciones de orden de opciones, donde la consistencia subjetiva cae a 0.328 frente a 0.485 para las tareas objetivas.
2. Sensibilidad a la Perturbación: No todas las variaciones de prompt afectan a los modelos por igual.
   • Orden de Opciones: Esta es la fuente más fuerte de inestabilidad en todos los modelos y conjuntos de datos, reduciendo la consistencia media a 0.407.
   • Perturbaciones Semánticas: El parafraseo, la equivalencia lógica y la sustitución léxica son comparativamente estables, con puntuaciones de consistencia que generalmente superan el 0.90.
   • Formato y Etiquetas: La variación de formato y la sustitución de etiquetas causan una inestabilidad moderada, particularmente en tareas subjetivas.
3. Efectos de Interacción: Los modelos GEE confirman interacciones significativas entre el tipo de conjunto de datos y la categoría de prompt ($\chi^2 = 175.435, p < 10^{-35}$). Esto indica que las tareas subjetivas no son simplemente menos consistentes en promedio; son únicamente sensibles a cómo se presentan las respuestas (por ejemplo, orden y etiquetas) en comparación con las tareas objetivas.
4. Varianza del Modelo: La robustez varía según el modelo. Aunque Qwen demuestra generalmente una mayor estabilidad bajo el reordenamiento de opciones que otros modelos, todos los modelos muestran una sensibilidad significativa a tipos específicos de perturbación. Ningún modelo es robusto en todos los tipos de conjuntos de datos y categorías de perturbación.

Contribuciones
El artículo realiza tres contribuciones principales:

1. Conjunto de Perturbaciones Curado: Sintetiza una amplia taxonomía de perturbaciones de prompts de trabajos previos sobre sensibilidad de prompts, formato de opción múltiple y sesgo de encuestas, adaptándolas para una evaluación unificada a través de dominios objetivos y subjetivos.
2. Prueba de Robustez Unificada: Proporciona una comparación directa de la robustez de los prompts entre conjuntos de datos objetivos y subjetivos, aislando el ruido general del prompt de la inestabilidad específica de las indagaciones basadas en valores.
3. Evidencia Estadística de la Dependencia de la Tarea: Utilizando pruebas estadísticas agrupadas, el estudio demuestra que la sensibilidad del prompt es una función conjunta del modelo, el conjunto de datos, el tipo de conjunto de datos y la categoría de perturbación, en lugar de un atributo estático del modelo.

Significado y Reivindicaciones
Los autores afirman que sus hallazgos requieren un cambio en la forma en que se llevan a cabo las evaluaciones de LLM, particularmente aquellas que infieren valores o creencias.

• Fragilidad de las Encuestas de un Único Prompt: La respuesta de un único prompt a una pregunta política o de valores no debe tratarse como una medida estable de las creencias de un modelo a menos que sobreviva a la variación del prompt.
• Interpretación de la Inestabilidad: Para las tareas subjetivas, la variación del prompt no es meramente ruido; revela la fragilidad de la postura medida. Un modelo puede utilizar la redacción, la elección de la etiqueta o el orden de las opciones como pistas para cómo responder, lo que significa que la "creencia" es construida por la estructura del prompt en lugar de ser recuperada de un estado interno estable.
• Mejores Prácticas de Evaluación: El artículo argumenta que la robustez debe reportarse como una relación entre el modelo, el conjunto de datos y la categoría de perturbación, en lugar de una única puntuación global. Los investigadores deben separar las perturbaciones semánticas de las perturbaciones superficiales para identificar modos de falla específicos (por ejemplo, seguimiento de instrucciones vs. sesgo de posición) y deben reportar la consistencia a través de variantes de prompt en lugar de confiar en una sola puntuación de precisión o de encuesta.

El estudio concluye que, para la evaluación de valores y creencias, la robustez ante la variación del prompt debe convertirse en un componente estándar del diseño de la evaluación, ya que la dependencia actual de un único prompt produce inferencias inestables y potencialmente engañosas sobre el comportamiento del modelo.