💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

Este artículo presenta Errorquake-10k, un benchmark exhaustivo que demuestra que los modelos de lenguaje de pesos abiertos exhiben distribuciones de severidad de error de cola pesada distintas incluso con niveles de precisión equivalentes, probando que estos perfiles de severidad proporcionan información crítica y no redundante sobre la fiabilidad del modelo que las tasas de error escalares no logran capturar.

Autores originales: Jason Z Wang

Publicado 2026-06-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jason Z Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un equipo de asistentes para escribir informes para tu empresa. Tienes una prueba estándar: les haces 10.000 preguntas y cuentas cuántas veces fallan la respuesta.

En el mundo de la IA, esto se llama tasa de error. Si el Asistente A se equivoca en el 58% de las respuestas y el Asistente B también se equivoca en el 58%, el informe estándar dice: "Son igualmente malos".

Este artículo argumenta que este informe es peligrosamente engañoso.

Los autores, Jason Z Wang y colegas, introducen una nueva forma de observar los errores llamada ERRORQUAKE. Sugieren que no todos los errores son iguales. Una fecha incorrecta es un "rasguño en la uña", pero una sentencia judicial completamente inventada que podría enviar a alguien a la cárcel es un "colapso de un edificio". Ambos cuentan como "un error" en el sistema antiguo, pero las consecuencias son mundos aparte.

Aquí está el desglose de sus hallazgos utilizando analogías simples:

1. La analogía del terremoto (La idea central)

Los autores toman prestado un concepto de la sismología (el estudio de los terremotos). Los sismólogos saben que los terremotos siguen un patrón específico: hay muchos temblores diminutos, menos medianos y muy pocos grandes y catastróficos. Utilizan un número llamado $b$ -value para describir este patrón.

$b$ -value alto: Muchos temblores pequeños y molestos, pero casi ningún desastre grande. (Piensa en un modelo que comete muchos errores tipográficos menores o deslizamientos factuales leves).
$b$ -value bajo: Menos errores totales, pero los que ocurren son desproporcionadamente enormes y catastróficos. (Piensa en un modelo que es mayormente silencioso, pero cuando habla, inventa una ley falsa o un descubrimiento científico falso).

El descubrimiento: Los autores probaron 21 modelos de IA de código abierto diferentes. Encontraron que incluso cuando dos modelos tenían exactamente la misma tasa de error (por ejemplo, ambos fallaban un 58,6% de las veces), sus $b$ -values eran totalmente diferentes.

Ejemplo: Un modelo (DeepSeek-V3.2) tenía un "b-value bajo", lo que significaba que sus errores tenían una cola pesada (raros pero catastróficos). Otro modelo (Ministral-14B) tenía un "b-value alto", lo que significaba que sus errores eran más ligeros y menos peligrosos.
La conclusión: No puedes juzgar la seguridad de un modelo solo contando con qué frecuencia falla. Tienes que observar qué tan mal falla cuando lo hace.

2. La advertencia de la "cola pesada"

El artículo llama a estos patrones peligrosos "distribuciones de error de cola pesada" (heavy-tailed error distributions).
Imagina una bolsa de canicas.

Distribución normal: La mayoría de las canicas son del mismo tamaño.
Distribución de cola pesada: La mayoría son guijarros diminutos, pero escondidas en la bolsa hay algunas rocas gigantes. Si solo cuentas el "número de canicas", te pierdes el hecho de que una de ellas podría aplastar tu pie.

Los autores descubrieron que los modelos de IA más grandes y potentes (los "densos") tienden a tener colas más pesadas.

La parado la paradoja: A medida que los modelos crecen, cometen menos errores pequeños (como erratas o descuidos menores). Sin embargo, los errores que sí cometen tienen más probabilidades de ser mentiras (fabricaciones) seguras y elaboradas.
Analogía: Un niño pequeño puede tropezar y caer a menudo (muchos errores pequeños). Un gigante puede caminar perfectamente durante horas, pero si tropieza, derriba una casa (pocos errores, pero catastróficos).

3. El "sismómetro" frente al "contador"

Los benchmarks actuales son como un contador (clicker): simplemente hacen "clic" en "Incorrecto" cada vez que un modelo se equivoca.
Los autores construyeron una nueva herramienta, ERRORQUAKE-10K, que actúa como un sismómetro.

En lugar de solo hacer clic en "Incorrecto", califica el error en una escala de 0 a 4.
- 0: Perfecto.
- 0.5–1.0: Un desliz menor (por ejemplo, "La reunión fue a las 2 PM" en lugar de las 3 PM).
- 2.0–3.0: Un error serio que podría confundir a un lector.
- 3.5–4.0: Una fabricación completa (por ejemplo, "La reunión se llevó a cabo en un universo paralelo").
Probaron esto con expertos humanos y encontraron que los humanos y los jueces de IA coincidieron bien en estas calificaciones.

4. ¿Por qué es esto importante? (El mecanismo)

El artículo profundiza en por qué ocurren estas colas pesadas. Encontraron un cambio en el tipo de error a medida que aumenta la severidad:

Severidad baja: Los errores suelen ser fallos de recuperación (el modelo olvidó un dato o buscó el número equivocado).
Severidad alta: Los errores suelen ser fabricaciones (el modelo inventó con confianza algo que nunca sucedió).

Crucialmente, los modelos más grandes son más propensos a estas fabricaciones de alta severidad. A medida que los modelos crecen, mejoran en recordar hechos (menos errores de recuperación) pero parecen volverse mejores en "alucinar" mentiras convincentes cuando no saben la respuesta.

5. La conclusión final

El artículo concluye que la industria necesita dejar de reportar solo la "tasa de error" (el conteo del contador).

Forma antigua: "El Modelo A y el Modelo B fallan un 58% de las veces".
Nueva forma: "El Modelo A y el Modelo B fallan un 58% de las veces, pero el Modelo A es como una bomba de tiempo (cola pesada), mientras que el Modelo B es solo un vecino ruidoso (cola ligera)".

La recomendación: Siempre que reporten con qué frecuencia comete errores una IA, también deben reportar la distribución de severidad (el $b$ -value). Esto indica si el modelo es propenso a deslizamientos molestos o a mentiras catastróficas, información que la simple tasa de error oculta por completo.

Lo que el artículo NO afirma:

No dice que estos modelos sean "seguros" o "inseguros" para trabajos específicos del mundo real (como la medicina o el derecho) sin pruebas adicionales.
No afirma que los modelos más grandes sean "peores" en general; simplemente son diferentes en cómo fallan.
No ofrece una solución para este problema, solo una forma de medirlo.

Resumen Técnico: ERRORQUAKE: Distribuciones de Severidad de Errores de Cola Pesada en Modelos de Lenguaje de Pesos Abiertos

1. Planteamiento del Problema

Los benchmarks estándar de alucinaciones (p. ej., TruthfulQA, HaluEval) reducen el rendimiento del modelo a una tasa de error escalar única ( $\varepsilon$ ), tratando todos los errores como equivalentes. Este enfoque colapsa una dimensión crítica del fallo del modelo: la severidad del error. Un modelo que cita una fecha de publicación errónea y un modelo que fabrica una opinión judicial completa contribuyen con un solo conteo a $\varepsilon$ , aunque sus consecuencias derivadas difieren en órdenes de magnitud.

El artículo argumenta que, con una precisión igualada, los Modelos de Lenguaje Grandes (LLMs) de pesos abiertos exhiben diferencias sustanciales en la forma de la distribución de la severidad de sus errores. Específicamente, el "comportamiento de la cola" (la frecuencia de errores catastróficos frente a deslizamientos menores) varía significamente entre modelos, una propiedad invisible para las tasas de error escalares. Tomando prestado de la sismología, los autores proponen caracterizar este comportamiento de la cola utilizando la pendiente $b$ de la relación de magnitud-frecuencia de Gutenberg–Richter: $\log_{10} N(M \ge m) = a - b m$ . Una $b$ pequeña indica pocos errores pero catastróficos; una $b$ grande indica muchos errores pequeños con severidad acotada.

2. Metodología

2.1 El Benchmark ERRORQUAKE-10K

Los autores introducen ERRORQUAKE-10K, un benchmark que comprende 10,000 consultas a través de 8 dominios (BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT) y 5 niveles de dificultad (T1–T5).

Estructura: 1,250 consultas por dominio; T1–T2 son consultas factuales fáciles, mientras que T4–T5 incluyen preguntas trampa diseñadas para provocar fabricaciones confiadas.
Modelos Evaluados: 21 modelos de instrucciones de pesos abiertos (de 3B a ~37B de parámetros activos) de 10 familias, incluyendo arquitecturas densas y MoE.

2.2 Escala de Puntuación de Severidad

Las respuestas se califican en una escala continua de 0.0–4.0 (cuantizada en incrementos de 0.5, 9 niveles distintos):

0.0: Correcto.
0.5–1.0: Imprecisiones que preservan la esencia.
1.5–2.0: Errores factuales moderados.
2.5–3.0: Errores sustanciales que confunden a un lector típico.
3.5–4.0: Fabricación (afirmación confiada de información inventada).

2.3 Pipeline de Evaluación

Sistema de Doble Juez: Cada respuesta es calificada por dos jueces de un pool de rotación de 8 modelos (excluyendo al modelo objetivo).
Agregación: La puntuación final es la media si los jueces coinciden dentro de un margen de 1.0; de lo contrario, se utiliza la mediana de tres con un desempate.
Validación Humana: Una muestra estratificada de 519 ítems fue calificada por tres evaluadores humanos expertos para validar el pipeline de jueces LLM.
- Fiabilidad: La fiabilidad inter-evaluador humana es excelente (ICC(2, k=3) = 0.85).
- Correlación: Las clasificaciones de severidad derivadas de humanos correlacionan fuertemente con las clasificaciones de los jueces LLM ( $\rho = 0.89$ ).
- Tasa de Sobrecalificación: Los jueces LLM sobrecalifican la severidad (puntuación 2.0) en un 33.5%, comparado con el 13.7% de los humanos.

2.4 Análisis Estadístico

Ajuste de Distribución: Se ajustan cinco familias candidatas (ley de potencia discreta, ley de potencia truncada, exponencial, exponencial estirada, lognormal) a las puntuaciones estrictamente positivas.
Estimación de Parámetros: El índice de distribución de severidad ( $b$ ) se estima utilizando la fórmula de Aki con una corrección de discreción sobre las puntuaciones cuantizadas en rejilla.
Intervalos de Confianza: Se utilizan bootstraps de percentiles del 95% (2,000 remuestreos) para determinar los intervalos de confianza para $b$ .

3. Contribuciones Clave

Teorema de No Reducibilidad (C1): Una prueba teórica que muestra que el perfil de severidad ( $b$ ) y la tasa de error ( $\varepsilon$ ) son informacionalmente no redundantes. Empíricamente, $I(b; \text{modelo} \mid \varepsilon) = 1.56$ bits, lo que significa que el 64.5% de la varianza en $b$ a través de los modelos no es explicada por $\varepsilon$ .
Discriminador de Precisión Igualada (C3): El principal hallazgo empírico de que $b$ distingue a los modelos incluso cuando sus tasas de error son idénticas.
Taxonomía de Mecanismos de Severidad (C4): Una clasificación de 6 categorías (recuperación, fabricación, amplificación, razonamiento, formato, metacognición) que muestra cómo los mecanismos de error cambian categóricamente con la severidad.
Correlación de Escalamiento (C5): Un análisis de la relación entre el tamaño del modelo y la forma de la cola de severidad.
Liberación de Recursos (C7): La liberación del benchmark ERRORQUAKE-10K, el toolkit de puntuación y el código de análisis.

4. Resultados Clave

4.1 Discriminación de Precisión Igualada

A través de 210 pares de los 21 modelos, 85 pares tienen intervalos de confianza del 95% disjuntos para $b$ cuando sus tasas de error están igualadas ( $|\Delta\varepsilon| < 0.05$ ) en la puntuación de consenso humano.

Ejemplo: DEEPSEEK-V3.2 y MINISTRAL-14B tienen tasas de error idénticas ( $\varepsilon = 0.586$ ) pero pendientes de cola significativamente diferentes ( $\Delta b = 0.47$ ).
Robustez: Este resultado se mantiene a través de jackknifes de dominios cruzados, diferentes reglas de agregación de jueces y subconjuntos con alta cobertura de doble juez.

4.2 Caracterización de la Distribución

Naturaleza de Cola Pesada: 17 de los 21 modelos se ajustan mejor a familias no exponenciales (exponencial estirada o ley de potencia truncada), confirmando la presencia de "colas pesadas" (decaimiento más lento que el exponencial) en la rejilla de severidad discreta.
Definición Operativa: "Cola pesada" aquí significa que la familia con el mejor BIC es no exponencial o que la masa residual en los bins superiores ( $M \ge .2.5$ ) es mayor de lo que predice un ajuste exponencial.

4.3 Correlación de Escalamiento

Modelos Densos: Existe una correlación negativa entre el tamaño del modelo (log de parámetros activos) y el valor $b$ ( $\rho_s = -0.86$ en datos humanos).
Interpretación: Los modelos densos más grandes cometen menos deslizamientos pequeños (decaimiento de la masa más pronunciado) pero una fracción relativamente mayor de fabricaciones catastróficas (cola superior más plana).
Nota: Esta correlación es específica para la pendiente de la cola superior; la tasa de decaimiento de la masa se mueve en la dirección opuesta.

4.4 Taxonomía de Mecanismos

Cambio de Severidad: Los errores de baja severidad (0.5–1.0) son predominantemente de recuperación (71%). Los errores de alta severidad (2.0–4.0) son predominantemente de fabricación (39%).
Acoplamiento de Tamaño: Los modelos pequeños (3–9B) muestran un 44.7% de errores de recuperación, mientras que los modelos grandes (≥24B) muestran un 29.2% de errores de fabricación. El cambio hacia la fabricación en los modelos más grandes explica las colas más pesadas.

4.5 Limitaciones de Predicción

La hipótesis pre-registrada de que el ajuste de $b$ en niveles fáciles (T1/T2) predice los conteos de errores catastróficos en niveles difíciles (T4/T5) falló en su criterio principal.

Resultado: La correlación de rango fue débil ( $\rho_s = 0.443$ ), y la predicción de la tasa absoluta falló (0/21 modelos sobrepredijeron; 17/21 modelos subpredijeron).
Razón: Las consultas difíciles elevan toda la distribución de severidad hacia arriba (un desplazamiento de nivel), lo cual la ley de Gutenberg–Richter (que captura la pendiente relativa) no puede extrapolar desde datos fáciles por sí sola.

5. Significado y Reivindicaciones

El artículo sostiene que la distribución de la severidad debe reportarse junto con la precisión porque conlleva información discriminativa que la tasa de error no posee.

Valor Informacional: El perfil de severidad no es una reformulación redundante de la tasa de error. Dos modelos con la misma precisión pueden tener riesgos de fallo catastrófico muy diferentes (diferenciándose en un orden de magnitud en eventos catastróficos esperados por millón de consultas).
Riesgo de Despliegue: Ignorar la distribución de la severidad conduce a diagnósticos de riesgo deficientes. Un modelo con una "cola más pesada" (una $b$ menor) plantea un mayor riesgo de fabricación catastrófica a pesar de tener la misma tasa de error que un modelo de "cola más ligera".
Paradoja de Escalamiento: Las leyes de escalamiento pueden mejorar la precisión general mientras simultáneamente empeoran la composición de los fallos residuales (cambiando de recuperaciones a fabricaciones), un matiz invisible para las tasas de error estándar.

Los autores posicionan este trabajo como una herramienta de diagnóstico para la selección y auditoría de modelos en entornos factuales de alta consecuencia, más que como un leaderboard de un solo número. Expresan explícitamente las limitaciones, incluyendo la exclusión de modelos de frontera propietarios, la dependencia de consultas generadas por LLM y el fallo de la tarea de predicción de micro-error a catástrofe.