Resumen Técnico: Revisitando la Sensibilidad de los Prompts en Modelos de Lenguaje de Gran Escala para la Clasificación de Texto

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se utilizan cada vez más para la clasificación de texto zero-shot y few-shot, donde el comportamiento de la tarea está dictado enteramente por prompts de lenguaje natural. Un cuerpo significativo de literatura ha establecido que los LLMs exhiben una alta sensibilidad a las variaciones de los prompts, donde cambios menores en la redacción pueden alterar drásticamente el ranking de rendimiento y las afirmaciones de estado del arte. Sin embargo, este artículo sostiene que una parte sustancial de la sensibilidad observada no es un defecto inherente en las capacidades de razonamiento de los modelos, sino una consecuencia de la subespecificación del prompt.

Muchos estudios existentes que investigan la sensibilidad de los prompts dependen de prompts "mínimos" o "subespecificados" (inspirados en las primeras formulaciones de GPT-3) que proporcionan poca o ninguna instrucción de la tarea o restricciones de etiquetas. Los autores plantean la hipótesis de que estos prompts causan que los LLMs fallen en la etapa de generación de salida —produciendo texto no estructurado o ignorando las etiquetas esperadas— en lugar de fallar en la comprensión interna de la tarea. Esto conduce a valores de logit bajos para los tokens relevantes y decisiones de clasificación basadas en probabilidades distribuidas aleatoriamente, lo que infla la percepción de sensibilidad de los modelos.

Metodología

El estudio compara sistemáticamente prompts subespecificados (mínimos) frente a prompts bien especificados (instrucción) a través de tres tareas de clasificación de texto (SST-2, AG News, MMLU) y seis variantes de LLM (LLaMA-2-13B, LLaMA-3.1-8B, LLaMA-3.2-3B, tanto en sus formas base como ajustadas por instrucciones/instruction-tuned).

El marco de evaluación emplea tres enfoques analíticos distintos:

1. Análisis de Rendimiento Empírico: Los autores evalúan la media de precisión y la desviación estándar a través de 10 variantes de prompts por configuración. Comparan una configuración "Base" contra varias estrategias de mitigación:

   • Estrategia UNK: Anexar tokens ¿? al prompt.
   • Calibración: Ajustar las probabilidades de las etiquetas basándose en prompts neutrales para asegurar una distribución uniforme.
   • Aprendizaje en Contexto (ICL): Proporcionar 2 ejemplos por clase dentro del prompt.
   • Ajuste de Instrucciones (Instruction-Tuning): Utilizar variantes de modelos ajustadas por instrucciones.
   • Meta-Etiquetas/Plantillas de Chat: Utilizar delimitadores específicos del tokenizador.
   • La evaluación se realiza mediante tanto la Evaluación de Logits (seleccionando la clase con la mayor probabilidad del último token) como la Evaluación de Generación (extrayendo etiquetas de la generación de texto libre).

2. Análisis de Logits: Los autores analizan la magnitud y distribución de los valores de los logits para las etiquetas de clase. Investigan la correlación entre los valores de los logits y la precisión de la clasificación, comparando específicamente prompts que producen logits altos frente a los que producen logits bajos.

3. Análisis de Sonda Lineal (Linear Probe): Para investigar las representaciones internas, los autores entrenan clasificadores Ridge lineales en las activaciones de cada capa del LLM. Esta técnica de interpretabilidad mecánica determina si el estado interno del modelo contiene información suficiente para resolver la tarea, incluso si la generación de la salida final falla.

Resultados Clave

1. El Impacto de la Subespecificación del Prompt

Los prompts subespecificados exhiben consistentemente una mayor varianza de rendimiento y valores de logit significativamente más bajos para los tokens relevantes en comparación con los prompts de instrucción. En muchos casos, los prompts mínimos resultan en logits de etiqueta en el rango de $10^{-5}$ a $10^{-3}$, situando las etiquetas correctas en la mitad inferior de la distribución de probabilidad del vocabulario. En consecuencia, las decisiones de clasificación bajo prompts mínimos son a menudo impulsadas por el ruido en lugar de la comprensión semántica.

2. Estrategias de Mitigación

• Prompts de Instrucción: Aunque los prompts de instrucción generalmente mejoran el rendimiento medio y reducen la varianza, no eliminan la sensibilidad por completo por sí solos.
• Aprendizaje en Contexto (ICL): El ICL proporciona la mitigación más consistente y significativa de la sensibilidad del prompt. Cuando se combina con modelos ajustados por instrucciones, el ICL produce la mayor precisión y la menor desviación estándar. Notablemente, el ICL aborda los problemas de subespecificación de manera tan efectiva como la calibración, pero sin requerir acceso a los componentes internos del modelo o prompts neutrales.
• Calibración: La calibración ofrece mejoras similares al ICL, pero es ligeramente menos consistente. Combinar la calibración con el ICL produce solo beneficios marginales adicionales, lo que sugiere que ambos métodos apuntan al mismo problema subyacente.
• Estrategia UNK: La estrategia de anexar tokens ¿? a menudo degrada el rendimiento significativamente, resultando a veces en un rendimiento peor que el azar.
• Variantes de Modelo: Cambiar a variantes de modelos ajustadas por instrucciones mejora significamente el rendimiento tanto para prompts mínimos como para los de instrucción, aunque esto puede atribuirse parcialmente a la filtración de datos (data leakage) si los datos de entrenamiento se solapan con los conjuntos de evaluación.

3. Perspectivas de Logits y Sondas Lineales

• Correlación de Logits: Existe una fuerte correlación positiva (hasta $r=0.757$) entre la magnitud de los valores de los logits de las etiquetas y la precisión de la clasificación. Los valores de logit altos sirven como un indicador fiable de la calidad del prompt y de la ausencia de subespecificación.
• Representaciones Internas: El análisis de sonda lineal revela que las representaciones internas (activaciones en las capas medias) permanecen robustas y contienen información suficiente para clasificar tareas con precisión, incluso cuando la salida final es incorrecta debido a la subespecificación. La degradación en el rendimiento ocurre principalmente en las capas finales de la red. Esto sugiere que el modelo "sabe" la respuesta internamente, pero falla al articularla correctamente cuando el prompt está subespecificado.

Contribuciones y Significado

El artículo realiza las siguientes contribuciones primarias:

1. Reencuadre de la Sensibilidad de los Prompts: Identifica la subespecificación del prompt como un motor primario de la sensibilidad observada en los LLM, argumentando que los modelos a menudo fallan en el formato de salida en lugar de en la comprensión de la tarea.
2. Rigor Metodológico: Aboga por el uso de prompts de instrucción bien especificados y aprendizaje en contexto para asegurar evaluaciones fiables de las capacidades de los modelos, alejándose de los prompts mínimos que inducen alta varianza.
3. Herramientas de Diagnóstico:
   • Establece el análisis de logits como una herramienta práctica para diagnosticar la calidad del prompt, demostrando que los valores de logit bajos son un fuerte predictor de un mal rendimiento y una alta sensibilidad.
   • Utiliza la sonda lineal para demostrar que los problemas de sensibilidad suelen emerger en las capas finales del modelo, mientras que las representaciones internas permanecen estables.
4. Mitigación Práctica: Demuestra que las modificaciones simples, específicamente la combinación de modelos ajustados por instrucciones e ICL, pueden mitigar eficazmente la mayoría de los problemas de sensibilidad sin procedimientos de calibración complejos.

Conclusión

Los autores concluyen que una parte significativa de la inestabilidad de los LLM en la clasificación de texto proviene del uso de prompts subespecificados y configuraciones experimentales ambiguas, en lugar de una incapacidad fundamental de los modelos para resolver las tareas. Abogan por un mayor rigor metodológico en investigaciones futuras, enfatizando la necesidad de prompts bien especificados para distinguir entre las limitaciones genuinas de los modelos y los artefactos de un mal prompting. Los hallazgos sugieren que, con estrategias de prompting apropiadas (específicamente formatos de instrucción e ICL), la sensibilidad observada puede mitigarse en gran medida, conduciendo a evaluaciones de los LLM más fiables y reproducibles.