💬 NLP

What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models

Este artículo sostiene que los puntos de referencia de precisión con un solo prompt son insuficientes para evaluar la fiabilidad de los modelos de lenguaje, demostrando mediante una auditoría de múltiples variantes que las decisiones de diseño de la evaluación, las señales de confianza frágiles y la robustez inconsistente de los prompts pueden alterar drásticamente las conclusiones y ocultar fallos críticos tanto en los modelos como en los evaluadores.

Autores originales: Ranit Karmakar, Jayita Chatterjee

Publicado 2026-05-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ranit Karmakar, Jayita Chatterjee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un equipo de detectives junior (los modelos de IA) para resolver una serie de acertijos. La forma estándar de evaluarlos es hacerles una pregunta, ver si dan la respuesta correcta y asignarles una puntuación. Si aciertan 8 de 10, reciben una calificación del 80 %.

Este artículo sostiene que esa única puntuación es una mentira. Se pierde lo más importante para determinar si un detective es realmente fiable en el mundo real. Los autores realizaron una "auditoría multivariante" en 15 pequeños detectives de IA diferentes para demostrar que cómo se formula la pregunta, cómo se lee la respuesta y cómo se mide su confianza importa tanto como la inteligencia del detective.

Aquí están los tres grandes descubrimientos, explicados con analogías sencillas:

1. La trampa de la "primera palabra" (el diseño de la evaluación puede simular un fracaso)

La analogía: Imagina que le pides a un detective que resuelva un misterio, pero le dices: "Primero, escribe una historia larga sobre cómo pensaste en ello, luego escribe la respuesta en la última línea".
El detective escribe una brillante historia de tres páginas, resuelve el caso perfectamente y escribe "Lo hizo el mayordomo" al final.
Sin embargo, tu sistema de calificación es un robot que solo mira la primera palabra de la respuesta para decidir si están en lo correcto. Como la primera palabra fue "Lo", el robot marca la respuesta como incorrecta.

El hallazgo del artículo:
Los investigadores descubrieron que cuando pedían a los modelos de IA que usaran "Cadena de Pensamiento" (pensar paso a paso), los modelos en realidad se volvían más inteligentes. Pero como el sistema de calificación estándar solo miraba la primera letra de la salida, las puntuaciones de los modelos se desplomaron entre un 72 % y un 88 %.

La solución: No necesitaban actualizar los modelos. Solo necesitaban cambiar al "robot calificador" para que buscara la respuesta al final del texto en lugar de al principio. Una vez que arreglaron al calificador, las puntuaciones de los modelos recuperaron casi el 100 %.
La lección: Un modelo puede parecer terrible simplemente porque la persona que lo evalúa está mirando en el lugar equivocado.

2. El "mentiroso confiado" (las señales de confianza son frágiles)

La analogía: Imagina a un estudiante que rinde un examen difícil. Se equivoca en la respuesta, pero cuando le preguntan: "¿Qué tan seguro estás?", responde: "¡Estoy un 90 % seguro de que acerté!".
En el mundo real, necesitamos saber si un estudiante está realmente seguro o solo parece seguro.

El hallazgo del artículo:
En un examen muy difícil (MMLU-Pro), los modelos de IA fueron consistentemente mentirosos sobreconfiados.

Solo acertaron las respuestas entre un 20 % y un 30 % de las veces.
Pero cuando se les pidió que dijeran qué tan seguros estaban, verbalmente afirmaron estar seguros entre un 60 % y un 78 %.
Peor aún, a veces los modelos divagaban tanto o usaban frases tan extrañas que la computadora ni siquiera podía encontrar su número de confianza (un "fallo de análisis"). Es como si un estudiante gritara su confianza en un idioma que el profesor no entiende.
La lección: Solo porque una IA diga "¡Estoy seguro!" no significa que tenga razón. Y a veces, ni siquiera puedes saber si está confiada porque está hablando de una manera que no puedes entender.

3. Lo más grande no siempre es más estable (el tamaño no significa robustez)

La analogía: Imagina que tienes una silla pequeña y resistente de madera y un trono gigante y lujoso de mármol. Podrías asumir que el trono gigante es más estable. Pero si mueves las patas del trono de mármol, podría tambalearse y romperse, mientras que la pequeña silla de madera permanece firme como una roca.

El hallazgo del artículo:
La gente suele asumir que un modelo de IA más grande (con más "capacidad cerebral" o parámetros) es más estable y no se confundirá si cambias ligeramente la redacción de la pregunta.
Los investigadores probaron esto haciendo las mismas preguntas de cinco maneras diferentes (cambiando el orden de las palabras, añadiendo ejemplos, cambiando el formato).

El resultado: No hubo ninguna relación clara entre el tamaño del modelo y qué tan bien manejó estos cambios.
Algunos modelos diminutos fueron increíblemente estables (obtuvieron la misma puntuación sin importar cómo se formulaba la pregunta).
Algunos modelos enormes fueron muy frágiles (sus puntuaciones oscilaron salvajemente dependiendo de la redacción).
La lección: No puedes juzgar qué tan "robusto" o fiable es un modelo solo mirando su tamaño. Un modelo pequeño puede ser mucho más fiable que uno grande.

La conclusión

El artículo concluye que debemos dejar de tratar la fiabilidad de la IA como una simple puntuación alta en un examen.

Si quieres saber si una IA está lista para el mundo real, no puedes mirar solo la calificación final. Necesitas saber:

¿Cómo se calificó el examen? (¿El calificador miró la primera palabra o la última?)
¿Entendió realmente el modelo la pregunta? (¿O solo adivinó?)
¿Podemos confiar en su confianza? (¿Es un mentiroso confiado?)
¿Es resistente? (¿Se rompe si cambias ligeramente la redacción?)

Los autores argumentan que antes de confiar en estos modelos, debemos publicar la receta completa de cómo los probamos, no solo el número final. De lo contrario, podríamos estar contratando a un detective que parece genial en el papel pero que falla en el momento en que comienza el trabajo real.

Resumen Técnico: Lo que la Precisión de un Solo Prompt Omite: Una Auditoría de Confiabilidad Multi-Variante de Modelos de Lenguaje

Declaración del Problema

La precisión de un solo prompt es la métrica dominante para la evaluación comparativa de modelos de lenguaje (LM), sin embargo, ofrece una imagen incompleta de la confiabilidad, particularmente para modelos de lenguaje pequeños (SLM) en el rango de 1–8 mil millones de parámetros destinados a despliegue local o en dispositivos. Un modelo desplegado requiere no solo corrección promedio, sino también señales de confianza robustas, salidas analizables para sistemas aguas abajo y estabilidad bajo variaciones de prompt. Las evaluaciones actuales a menudo oscurecen modos de fallo críticos al depender de un único número de precisión, plantillas de prompt fijas y pipelines de evaluación opacos. Este artículo argumenta que las conclusiones sobre confiabilidad dependen tanto del pipeline de evaluación (definiciones de métricas, lógica del evaluador y variantes de prompt) como del propio modelo.

Metodología

Los autores realizaron una auditoría de confiabilidad multi-variante de 15 SLM de pesos abiertos (1B–8B parámetros), con análisis principales centrados en 10 modelos instruct. La evaluación cubrió cinco benchmarks: tres tareas de clasificación (SST-2, MNLI, AG News) y dos tareas de razonamiento (ARC-Challenge, MMLU-Pro).

Diseño Experimental:

Variantes de Prompt: Cada par modelo-conjunto de datos fue evaluado bajo cinco variantes de prompt distintas: surface_paraphrase, instruction_reorder, fewshot_3, format_change e implicit_framing. Estas perturban la redacción, el orden de las instrucciones, la condicionamiento en contexto, el formato de salida y el encuadre, manteniendo fija la tarea subyacente.
Métricas: Para cada celda (modelo × conjunto de datos × variante), el estudio registró:
- Precisión: Puntuada desde el primer carácter generado para tareas de opción múltiple.
- Calibración de Probabilidad de Token: Medida mediante el Error de Calibración Esperado (ECE) utilizando tanto las probabilidades crudas del primer token como las probabilidades normalizadas por el conjunto de etiquetas.
- Calibración de Confianza Verbal: Medida mediante el ECE de la confianza reportada verbalmente, recopilada mediante prompts de seguimiento.
- Tasa de Análisis Verbal (VPR): La fracción de respuestas de las cuales se puede extraer una confianza numérica.
- Dispersión por Perturbación de Prompt: La diferencia entre la precisión máxima y mínima a través de variantes que no cambian el formato.
Infraestructura: Todas las ejecuciones utilizaron vLLM en una sola GPU NVIDIA L4 con precisión bfloat16, decodificación codiciosa y una semilla aleatoria fija (42).

Hallazgos Clave

1. Las Elecciones de Evaluación Pueden Crear u Ocultar Fallos

El estudio identifica dos modos de fallo del lado de la evaluación que alteran significativamente las conclusiones de confiabilidad sin cambiar el modelo:

Incompatibilidad Evaluador-Prompt: En el benchmark ARC-Challenge, cambiar a una variante format_change que elicita razonamiento de cadena de pensamiento (CoT) causó una caída catastrófica en la precisión reportada (caída relativa del 72–88%) cuando fue puntuada por un evaluador estándar de "primer carácter". El primer token de la salida CoT suele ser una palabra de razonamiento (por ejemplo, "The...", "Let...") en lugar de la etiqueta de respuesta. Dos procedimientos de reparación independientes (re-análisis con regex y decodificación restringida) recuperaron el 93,8% y el 102,7% del rendimiento perdido, respectivamente. Esto indica que el fallo estaba en la lógica del evaluador, no en la capacidad de razonamiento del modelo.
Sensibilidad de la Definición de Calibración: La definición de la calibración de probabilidad de token impacta significativamente los valores de ECE. Cambiar de la probabilidad cruda del primer token a la probabilidad normalizada por el conjunto de etiquetas (dividiendo por la suma de probabilidades sobre etiquetas válidas) cambió el ECE por celda en un valor absoluto medio de 0,149. En casos extremos (por ejemplo, Mistral-7B en SST-2 format_change), el desplazamiento fue de 0,825.

2. Las Señales de Confianza son Frágiles

Sobreconfianza Verbal: En MMLU-Pro, todos los modelos instruct principales reportaron verbalmente niveles de confianza sustancialmente más altos que tanto su precisión real como su confianza de probabilidad de token. La brecha entre el ECE verbal y el ECE de token fue consistentemente positiva (+0,286 a +0,582), indicando una sobreconfianza sistemática.
Colapso de Analizabilidad: La confianza verbal no siempre es extraíble. Por ejemplo, Mistral-7B-Instruct falló el umbral de VPR de 0,80 en la variante surface_paraphrase en todos los conjuntos de datos (por ejemplo, VPR = 0,002 en SST-2). Este fallo es específico de la variante; el mismo modelo superó el umbral en otras variantes. Agrupar estas celdas en un único escalar ocultaría el hecho de que el 20–25% de las salidas eran inanalizables.

3. El Recuento de Parámetros es un Mal Proxy para la Robustez

El estudio probó la hipótesis de que los modelos más grandes son más robustos a las perturbaciones de prompt. En 10 modelos instruct (1–8B), la correlación entre el recuento de parámetros y la dispersión por perturbación de prompt fue débil e inconsistente (Spearman $\rho$ oscilando entre -0,244 y 0,474, todos $p > 0,10$ ).

No Monotonía: Los modelos más pequeños fueron a veces más robustos que los más grandes. Por ejemplo, Phi-4-mini (3,8B) tuvo una dispersión en SST-2 de 0,084, mientras que Mistral-7B (7,2B) tuvo una dispersión de 0,500.
Agrupación por Familia: Los patrones de robustez parecieron más estructurados dentro de las familias de modelos (por ejemplo, ambos modelos Qwen fueron robustos en SST-2) que a través de los recuentos de parámetros, aunque los autores notan que esto es descriptivo dado el tamaño de muestra limitado por familia.

Contribuciones

El artículo hace tres contribuciones principales:

Identificación de Modos de Fallo del Lado de la Evaluación: Demuestra que la sensibilidad a la normalización de calibración y las incompatibilidades prompt-evaluador pueden alterar drásticamente las conclusiones de confiabilidad independientemente del rendimiento del modelo.
Informe Conjunto de Confianza y Analizabilidad: Introduce un marco para reportar la dirección de la confianza verbal y la tasa de análisis verbal por celda, revelando que la confianza puede ser tanto sobreconfidente como selectivamente inanalizable.
Evidencia Empírica sobre Robustez: Proporciona datos que muestran que el recuento de parámetros es un mal proxy para la robustez de prompt en el rango de 1–8B, desafiando la suposición de que la escalabilidad garantiza estabilidad.

Significado y Recomendaciones

Los autores argumentan que las conclusiones de confiabilidad para SLM no son propiedades intrínsecas del modelo, sino que dependen del pipeline de evaluación. En consecuencia, proponen una lista de verificación de informes para auditorías de confiabilidad de SLM para asegurar la reproducibilidad y la preparación para el despliegue:

Divulgar la Normalización de ECE: Declarar explícitamente si el ECE de probabilidad de token utiliza definiciones crudas o normalizadas por conjunto de etiquetas.
Publicar la Lógica del Evaluador: Especificar las reglas exactas utilizadas para puntuar el texto generado (por ejemplo, coincidencia de primer carácter vs. regex).
Conservar las Generaciones Completas: Almacenar el texto de salida crudo para permitir la re-puntuación bajo evaluadores alternativos.
Reportar la Tasa de Análisis Verbal: Reportar VPR por celda con umbrales de inclusión explícitos, en lugar de como un escalar a nivel de modelo.
Replicar Afirmaciones de Confianza: Probar la confianza verbal bajo múltiples redacciones de elicitación (por ejemplo, decimal vs. porcentaje).
Reportar la Dispersión por Perturbación de Prompt: Incluir métricas de dispersión junto con la precisión al comparar robustez, en lugar de depender del recuento de parámetros.

El artículo concluye que para que los benchmarks de SLM guíen la selección de modelos en el mundo real, deben describir las asunciones de evaluación que hacen posible una conclusión, avanzando más allá de una única puntuación de ranking hacia un "perfil de preparación para el despliegue" integral.