💬 NLP

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

Este artículo revela que los modelos de lenguaje de gran tamaño a menudo exhiben una inestabilidad significativa en sus respuestas cuando se enfrentan a paráfrasis que preservan el significado, demostrando que las métricas de precisión estándar pueden ocultar problemas de fiabilidad y que las estrategias de autoparáfrasis pueden recuperar eficazmente el conocimiento latente para mejorar el rendimiento.

Autores originales: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La ilusión del robot perfecto

Imagina que estás hablando con un amigo robot muy inteligente que ha leído casi todos los libros de la biblioteca. Le haces una pregunta sencilla y te da una respuesta brillante y correcta. Te sientes seguro, ¿verdad? Pero, ¿qué pasaría si le hicieras exactamente la misma pregunta otra vez, usando palabras ligeramente diferentes? ¿Te daría la misma respuesta? Esta es la gran pregunta detrás de un nuevo estudio de científicos de la computación de la Universidad de Maryland. Están analizando los "Modelos de Lenguaje de Gran Escala" (LLM, por sus siglas en inglés), que son los cerebros de IA superinteligentes detrás de herramientas como los chatbots. Estos modelos son famosos por ser precisos en los exámenes, pero este estudio plantea una pregunta capciosa: ¿son realmente fiables o solo son buenos adivinando basándose en cómo se formula la pregunta? Piensa en ello como un estudiante que memoriza la redacción exacta de un examen de práctica. Si cambias la pregunta un poco, ¿el estudiante sigue sabiendo la respuesta o se confunde? Los investigadores querían averiguar si estos modelos de IA realmente comprenden el mundo o si solo están jugando a un juego de "coincidencia de palabras".

La misma pregunta, la respuesta incorrecta

Los investigadores decidieron jugar un juego con 13 modelos de IA diferentes, que van desde los más pequeños y de código abierto hasta los masivos y potentes utilizados por las grandes empresas tecnológicas. Tomaron preguntas sobre hechos del mundo real (como "¿Cuántas partidas de ajedrez perdió Anderssen en 1864?") y problemas matemáticos, y luego le hicieron a los modelos las mismas preguntas exactas pero reescritas de docenas de maneras diferentes. Se aseguraron de que las nuevas preguntas significaran exactamente lo mismo, tal como decir "¿Cómo estás?" frente a "¿Qué pasa?" o "¿Cómo va todo?".

Aquí está el giro sorprendente que encontraron: los modelos de IA eran a menudo inconsistentes. Aunque las preguntas significaban lo mismo, los modelos a veces acertaban la primera vez y luego fallaban cuando se reformulaba la pregunta. De hecho, para muchas preguntas, los modelos oscilaban entre acertar y fallar dependiendo de la redacción. El estudio encontró que las tasas de desajuste —donde el modelo da una respuesta diferente a la misma pregunta— podían alcanzar más del 23%. Eso significa que si le hicieras al modelo la misma pregunta 100 veces de diferentes maneras, podría darte una respuesta distinta (y errónea) casi una cuarta parte de las veces, ¡aunque supiera la respuesta correcta todo el tiempo!

La brecha del "conocimiento oculto"

La parte más fascinante de la historia es lo que esto dice sobre lo que la IA realmente "sabe". Los investigadores descubrieron que los modelos a menudo sí tenían la respuesta correcta escondida dentro de ellos. Si le hacías la misma pregunta de suficientes maneras distintas, el modelo eventualmente la acertaría al menos una vez. Esto sugiere que el conocimiento está ahí, pero el modelo es poco fiable al recuperarlo.

Para visualizarlo, imagina a un estudiante haciendo un examen.

Precisión estándar: El estudiante acierta el 80% en el primer intento.
Capacidad fiable: El estudiante acierta el 80% cada vez que le haces la pregunta, sin importar cómo la formules.
Capacidad latente: El estudiante acierta la respuesta al menos una vez si le haces la pregunta de 10 maneras diferentes.

El estudio encontró una enorme brecha entre la "Capacidad fiable" y la "Capacidad latente". Los modelos a menudo conocían la respuesta (Latente) pero fallaban al mostrarla de forma consistente (Fiable). En algunos casos, los modelos podían responder correctamente un 30% adicional de las preguntas si simplemente se les preguntaba de una manera diferente, pero fallaban al hacerlo en el examen estándar. Esto significa que las puntuaciones de "precisión" estándar que vemos en las tablas de clasificación podrían estar ocultando mucha inestabilidad. Los modelos no son necesariamente estúpidos; son simplemente frágiles. Dependen de patrones de palabras específicos en lugar de un entendimiento profundo y sólido.

El "cambio" y la "solución"

Los investigadores también analizaron algo llamado "tasas de cambio" (flip rates). Esto es cuando un modelo acierta una pregunta la primera vez, pero luego falla cuando se reformula. O, lo que es aún más confuso, falla una pregunta la primera vez, pero la acierta cuando se reformula. Este comportamiento de "cambiar de opinión" muestra que el cerebro del modelo es inestable. Es como una brújula que apunta al Norte cuando la sostienes de una forma, pero apunta al Este cuando la inclinas ligeramente.

Sin embargo, hubo un rayo de esperanza. Los investigadores probaron un truco sencillo llamado Autoparáfrasis. En lugar de solo hacerle una pregunta al modelo, le pidieron que primero reescribiera la pregunta con sus propias palabras y luego respondiera basándose en esas nuevas versiones. Es como pedirle a un estudiante que "vuelva a leer la pregunta en su cabeza antes de responder". Este paso sencillo ayudó a los modelos a cerrar la brecha, mejorando su rendimiento al ayudarles a acceder a ese conocimiento latente y oculto.

Lo que esto significa para el futuro

La conclusión principal de este artículo es que las puntuaciones de precisión estándar pueden ser engañosas. El hecho de que un modelo obtenga una puntuación alta en un examen no significa que sea verdaderamente fiable en el mundo real. En la vida real, la gente hace preguntas de muchas formas extrañas, y si una IA no puede manejar eso, no está lista para el mundo real. El estudio sugiere que debemos dejar de mirar solo "¿cuántas preguntas acertó?" y empezar a preguntar "¿qué tan consistente es?".

Los autores sugieren que, para que la IA sea verdaderamente digna de confianza, debe ser probada en su capacidad para mantenerse constante a través de diferentes formulaciones. Hasta entonces, podríamos estar sobreestimando qué tan inteligentes son realmente estos robots. Pueden ser brillantes memorizando el guion, pero todavía necesitan aprender a improvisar sin perder el hilo.

Resumen Técnico: La misma pregunta, diferentes respuestas: Evaluando la fiabilidad de los LLM más allá de la precisión

Planteamiento del problema

Aunque los Modelos de Lenguaje de Gran Escala (LLM) demuestran una alta precisión en los benchmarks estándar, su fiabilidad sigue siendo incierta cuando se presenta la misma pregunta de formas diferentes pero semánticamente equivalentes. Las prácticas de evaluación actuales suelen depender de la precisión de un solo prompt, lo que puede enmascarar una inestabilidad significativa. Los estudios existentes sobre la robustez de los LLM se centran frecuentemente en perturbaciones superficiales (por ejemplo, cambios de formato, ruido adversarial) o tareas de opción múltiple, lo que restringe la variabilidad de la salida. Además, las métricas de precisión agregadas suelen ocultar las fluctuaciones a nivel de instancia, y estudios previos de paráfrasis a veces sufren de "deriva de significado" en las variaciones generadas. Este trabajo aborda la brecha en la comprensión de cómo se comportan los LLM bajo una paráfrasis rigurosa que preserva el significado en tareas de generación abierta, específicamente para la respuesta a preguntas fácticas y el razonamiento matemático.

Metodología

Los autores introducen un marco controlado para evaluar la consistencia de los LLM utilizando entradas semánticamente equivalentes rigurosamente validadas.

1. Construcción de conjuntos de prueba semánticamente equivalentes

Para aislar el efecto de la forma superficial, el estudio genera conjuntos de paráfrasis para cada consulta original ( $Q_0$ ) utilizando un pipeline de validación de tres etapas:

Generación controlada: Un modelo de alta capacidad (GPT-4.1-mini) genera paráfrasis condicionadas a claves ligeras para inducir variaciones estructurales o estilísticas (por ejemplo, tono, sintaxis) mientras preserva la intención y las restricciones.
Filtrado de solapamiento léxico: Los candidatos con un alto solapamiento léxico (>0.8) con el original se descartan para asegurar un parafraseo genuino en lugar de ediciones superficiales.
Verificación semántica de doble etapa:
- Un juez basado en LLM verifica que la paráfrasis solicite exactamente la misma información.
- Un filtro basado en NLI (facebook/bart-large-mnli) comprueba la implicación bidireccional entre el original y la paráfrasis.
Validación humana: Un subconjunto de pares de paráfrasis (~1250) fue anotado por humanos, logrando un acuerdo del 92–98% en equivalencia semántica, confirmando la rigurosidad del pipeline.

2. Protocolo de evaluación

Modelos: Se evaluaron 13 modelos, incluyendo modelos de pesos abiertos (familias Llama-3, Qwen-2.5/3 que van desde 0.6B a 32B de parámetros) y modelos propietarios (GPT-3.5, GPT-4o, variantes de GPT-4.1).
Datasets: Cuatro benchmarks que cubren QA fáctico (SIMPLEQA, TRUTHFULQA) y razonamiento matemático (GSM8K, MATH-500).
Decodificación: Se utilizó decodificación determinista para atribuir la variabilidad al estado interno del modelo en lugar al ruido de muestreo estocástico.
Métricas: El estudio va más allá de la precisión estándar para definir:
- Variantes de precisión: Precisión Original ( $A_{orig}$ ), Precisión de Paráfrasis Promedio ( $A_{dist}$ ), y Precisión de Voto Mayoritario ( $A_{MV}$ ).
- Estabilidad a nivel de instancia: Tasa de desajuste (desacuerdo entre el original y el voto mayoritario), Tasas de inversión de predicción (inestabilidad direccional) y No-determinismo (ND) (fracción de conjuntos con múltiples etiquetas distintas).
- Límites de capacidad:
  - Capacidad Máxima ( $A_{any}$ ): La proporción de instancias donde el modelo es correcto en al menos una paráfrasis (conocimiento latente).
  - Capacidad Fiable ( $A_{strict}$ ): La proporción de instancias donde el modelo es correcto en todas las paráfrasis (conocimiento fiable).

Resultados clave

1. La ilusión de la estabilidad

Las métricas de precisión agregadas muestran fluctuaciones modestas (típicamente 0–5%) a través de las paráfrasis. Sin embargo, el análisis a nivel de instancia revela una inestabilidad oculta sustancial:

Altas tasas de desajuste: Hasta el 23% de las preguntas reciben etiquetas de corrección diferentes cuando se parafrasean, incluso cuando la brecha de precisión agregada es cercana a cero.
No-determinismo: Hasta el 47% de los conjuntos de paráfrasis contienen predicciones conflictivas (el modelo emite diferentes etiquetas para entradas semánticamente idénticas).
Tasas de inversión: Los modelos frecuentemente responden correctamente a la pregunta original pero fallan en las paráfrasis, y viceversa, fallan en la original pero tienen éxito en las paráfrasis. Esto indica que la precisión estándar es a menudo un subproducto estadístico de errores compensatorios en lugar de una fiabilidad genuina.

2. La brecha de fiabilidad

Existe una discrepancia significativa entre el conocimiento latente de un modelo y su rendimiento consistente:

Latente vs. Fiable: $A_{any}$ (mejor caso) es consistentemente mayor que $A_{strict}$ (peor caso). Por ejemplo, en TRUTHFULQA, los modelos a menudo poseen la capacidad interna para responder correctamente un 30% adicional de preguntas, pero fallan en recuperar este conocimiento de manera consistente a través de las formulaciones.
Tendencias de escalado: Aunque los modelos más grandes generalmente exhiben mejor estabilidad y una mayor $A_{strict}$ , persiste una brecha incluso en los modelos de alto rendimiento. El razonamiento de Cadena de Pensamiento (CoT) mejora tanto la precisión como la consistencia, pero no elimina totalmente la inestabilidad.

3. Cerrando la brecha mediante la auto-paráfrasis

El estudio demuestra que la "brecha de fiabilidad" puede cerrarse parcialmente en el tiempo de inferencia. Al emplear una estrategia de Auto-paráfrasis —donde el modelo genera sus propias paráfrasis para crear un contexto más rico antes de responder— el rendimiento mejoró para 6 de los 7 modelos probados. Esto sugiere que el conocimiento latente está presente pero se recupera de forma inconsistente debido a la sensibilidad de la forma superficial.

Significado y Reivindicaciones

El artículo argumenta que las métricas de precisión estándar proporcionan una visión incompleta y a menudo excesivamente optimista de la fiabilidad de los LLM. Las principales contribuciones son:

Revelar la inestabilidad a nivel de instancia: El estudio demuestra que existe una inestabilidad sustancial bajo entradas que preservan el significado, la cual queda enmascarada por las puntuaciones de precisión agregada.
Definir la brecha de fiabilidad: Formaliza la distincción entre la capacidad latente ( $A_{any}$ ) y la capacidad fiable ( $A_{strict}$ ), mostrando que los modelos a menudo poseen conocimiento que no pueden acceder de manera fiable.
Proponer un nuevo paradigma de evaluación: Los autores abogan por una evaluación consciente de la consistencia a través de entradas parafraseadas para reflejar mejor los escenarios de despliegue en el mundo real donde varía la formulación del usuario.
Mitigación práctica: Los hallazgos sugieren que estrategias simples en el tiempo de prueba, como la auto-paráfrasis, pueden actuar como un mecanismo de "reducción de ruido" para recuperar el conocimiento latente y mejorar la robustez sin necesidad de reentrenamiento.

Los autores concluyen que evaluar los LLM requiere ir más allá de la precisión de un solo prompt hacia benchmarks de consistencia más finos para evaluar con precisión la verdadera fiabilidad y capacidad.