Resumen Técnico: Puntuación de Estabilidad de Prompts para la Anotación de Texto con Modelos de Lenguaje Grandes

1. Declaración del Problema

Los investigadores utilizan cada vez más Modelos de Lenguaje (LM) para la anotación de texto, empleando a menudo enfoques de cero disparos (zero-shot) o pocos disparos (few-shot) donde un "prompt" instruye al modelo para clasificar datos. Si bien estos métodos ofrecen escalabilidad, introducen una brecha crítica de fiabilidad: las salidas de los LM suelen ser sensibles a variaciones menores, semánticamente equivalentes, en la redacción del prompt o en los parámetros de decodificación estocástica.

La literatura actual carece de una verificación rutinaria y automatizada de fiabilidad para estas tuberías de procesamiento. Un único prompt que arroja alta precisión no garantiza que un prompt ligeramente reformulado produzca las mismas etiquetas. Si las salidas varían entre prompts semánticamente similares o ejecuciones repetidas, la tubería de clasificación es "frágil", lo que socava la reproducibilidad y hace que las estimaciones posteriores sean poco fiables. Los autores argumentan que la estabilidad es un prerrequisito necesario para la precisión y la reproducibilidad; una tubería que es inestable ante perturbaciones menores no debería proceder a costosos pasos de validación como la codificación manual.

2. Metodología

El artículo introduce la Puntuación de Estabilidad de Prompts (PSS), un marco de diagnóstico automatizado que cuantifica el acuerdo de una tubería de anotación bajo perturbaciones controladas. El marco trata las ejecuciones repetidas del modelo y las variantes de prompts semánticamente equivalentes como análogos a los calificadores humanos en estudios de fiabilidad inter e intracodificador.

Componentes Principales

• Estabilidad Intraprompt (Intra-PSS): Mide la consistencia de un modelo cuando el mismo prompt se ejecuta repetidamente sobre los mismos elementos. Esto captura la variabilidad de una ejecución a otra causada por la estocasticidad de la decodificación (por ejemplo, muestreo por temperatura) y la ejecución de hardware no determinista.
• Estabilidad Interprompt (Inter-PSS): Mide la consistencia de un modelo cuando se utilizan variantes de prompts semánticamente equivalentes. El marco genera estas variantes utilizando un modelo de paráfrasis externo (PEGASUS) con temperaturas de decodificación variables. Las temperaturas bajas producen reformulaciones conservadoras, mientras que las temperaturas más altas actúan como pruebas de estrés para revelar dónde falla la tubería.

Operacionalización Estadística

• Métrica: Los autores utilizan el $\alpha$ de Krippendorff ($K\alpha$) como estadístico principal de acuerdo. Esta elección permite manejar datos nominales, ordinales e intervalares, y corrige el acuerdo por azar.
• Estimación de Incertidumbre: Se emplea el bootstrapping no paramétrico para generar intervalos de confianza para las estimaciones de estabilidad.
• Implementación: Los autores proporcionan un paquete de Python de código abierto, promptstability, que automatiza la generación de variantes de prompts, la ejecución de ejecuciones repetidas y el cálculo de puntuaciones de estabilidad.

Diseño Experimental

El marco se validó en seis conjuntos de datos y doce resultados distintos, generando aproximadamente 3,1 millones de anotaciones (unos 300 millones de tokens de entrada). Los conjuntos de datos abarcan diversos contextos de ciencias sociales (por ejemplo, tuits de senadores estadounidenses, manifiestos de partidos británicos, artículos del NYT, respuestas a encuestas) y varían en:

1. Complejidad del Resultado: Escalas binarias vs. multiclase vs. continuas; categorías granulares vs. generales.
2. Complejidad de los Datos: Entradas ricas en información vs. pobres en información (por ejemplo, textos cortos vs. largos).
3. Capacidad del Modelo: Comparaciones entre diferentes LM (por ejemplo, GPT-3.5, GPT-4o, DeepSeek-R1).

3. Resultados Clave

El análisis empírico mapea la inestabilidad hacia cuatro fuentes principales: ambigüedad de los criterios, complejidad del resultado, complejidad de los datos y capacidad del modelo.

• Patrones Generales de Estabilidad: La mayoría de las tareas de referencia exhiben una alta Intra-PSS (repetibilidad bajo un prompt fijo), convergiendo rápidamente a niveles altos de acuerdo. Sin embargo, la Inter-PSS es más variable; la estabilidad a menudo disminuye a medida que las paráfrasis del prompt se vuelven más diversas.
• Ambigüedad de los Criterios: Varias tareas (por ejemplo, detección de postura, clasificación de "el tema más importante") mostraron caídas rápidas en la Inter-PSS incluso con temperaturas bajas del paráfraseador. Esto indica que los criterios de codificación son frágiles ante cambios menores en la redacción, sugiriendo un diseño de prompt ambiguo o constructos mal definidos.
• Complejidad de Datos y Resultados:
  • Complejidad de Datos: Las tareas con bajas relaciones señal-ruido (por ejemplo, predecir la elección del votante a partir de datos de perfil limitados) mostraron una estabilidad pobre incluso con prompts fijos.
  • Complejidad del Resultado: Expandir los conjuntos de etiquetas a categorías más granulares y superpuestas (por ejemplo, 12 vs. 6 categorías de temas) redujo la estabilidad, incluso cuando los datos de entrada permanecieron constantes.
• Capacidad del Modelo: Las comparaciones entre GPT-4o y DeepSeek-R1:8b revelaron que la elección del modelo impacta significativamente la estabilidad. El modelo más pequeño exhibió una menor Intra-PSS y una degradación más rápida en la Inter-PSS, demostrando que la inestabilidad puede derivar de limitaciones del modelo y no solo del diseño del prompt.
• Utilidad Diagnóstica: Los autores demuestran que filtrar formatos de salida correctos (por ejemplo, eliminar enteros malformados) puede distinguir entre errores de formato e inestabilidad genuina de clasificación. Para algunos conjuntos de datos (por ejemplo, "Tema Más Importante"), el filtrado resolvió la inestabilidad; para otros (por ejemplo, "Corto Sintético"), no lo hizo, lo que indica una dificultad fundamental de la tarea.
• Viabilidad de Costos: Los autores estiman que ejecutar estos diagnósticos de estabilidad en un tamaño de muestra típico cuesta entre 3 y 150 dólares (usando GPT-3.5), lo que sugiere que el enfoque es un diagnóstico factible en etapas tempranas en lugar de un paso de validación prohibitivo.

4. Contribuciones Clave

1. Marco Conceptual: El artículo replantea la fiabilidad de la anotación con LM a través de la lente de la fiabilidad inter e intracodificador, definiendo la "estabilidad del prompt" como una propiedad distinta y medible necesaria para la reproducibilidad.
2. Herramienta de Diagnóstico Automatizado: La introducción de la Puntuación de Estabilidad de Prompts (PSS) y el paquete promptstability que la acompaña proporciona a los investigadores un método estandarizado y automatizado para realizar pruebas de estrés a las tuberías de anotación antes de invertir en validación de verdad fundamental.
3. Caracterización Empírica: Al probar en 12 resultados y 6 conjuntos de datos, el artículo proporciona una caracterización a gran escala de cuándo las tuberías basadas en prompts son estables versus frágiles, identificando modos de fallo específicos relacionados con la señal de los datos, la granularidad de las etiquetas y la elección del modelo.
4. Guía Práctica: Los autores ofrecen un "Manual de PSS" para interpretar los resultados, aconsejando a los investigadores cuándo refinar prompts, aclarar constructos, cambiar de modelo o ajustar configuraciones de decodificación basándose en las puntuaciones de estabilidad.

5. Significado y Afirmaciones

El artículo afirma que una alta precisión obtenida de un único prompt es insuficiente para la reproducibilidad. Si una tubería de anotación es frágil ante perturbaciones menores (reformulaciones o ejecuciones repetidas), cualquier estimación posterior heredará esta fragilidad, independientemente del rendimiento promedio del modelo.

Los autores posicionan la PSS no como una medida de verdad o precisión, sino como un prerrequisito para la validez. Argumentan que los investigadores deben tratar los diagnósticos de estabilidad como un paso esencial temprano en el flujo de trabajo de investigación. Una PSS baja sirve como advertencia para revisar la redacción del prompt, las definiciones de constructos, la calidad de los datos o la selección del modelo antes de comprometer recursos con procedimientos de validación costosos. El artículo concluye que, si bien la estabilidad no garantiza la corrección, es la base necesaria sobre la cual debe construirse la investigación en ciencias sociales basada en LM reproducible.