💬 NLP

Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models

Este artículo desafía la suposición predominante de un decaimiento exponencial de la fiabilidad en los modelos de lenguaje grandes al demostrar que los errores se concentran en "tokens clave" dispersos, proponiendo un nuevo marco que prioriza la preservación estratégica y el cómputo dinámico en puntos críticos de decisión para lograr una coherencia sostenida en contextos largos sin un escalado proporcional.

Autores originales: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong, Dmitri Kalaev, Alexey A. Shvets

Publicado 2026-05-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mikhail L. Arbuzov, Sisong Bei, Ziwei Dong, Dmitri Kalaev, Alexey A. Shvets

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Vieja Historia: La Teoría de la "Cadena Rota"

Durante mucho tiempo, los expertos creyeron que los Modelos de Lenguaje Grande (LLM) estaban condenados a fallar a medida que escribían textos cada vez más largos. La lógica era simple y aterradora:

Imagina que estás construyendo una cadena con clips de papel. Si existe incluso una pequeña posibilidad (digamos, un 1%) de que cualquier clip individual sea débil, entonces, a medida que agregas más y más clips, toda la cadena se vuelve más y más débil. Para cuando tienes 100 clips, la cadena está casi garantizada a romperse.

En el mundo de la IA, esto significaba que si un modelo cometía un pequeño error en una palabra, ese error se acumulaba, haciendo que la siguiente palabra fuera más propensa a estar mal, y la siguiente aún peor. La teoría predecía que las historias o ensayos largos eventualmente se convertirían en sinsentido porque los errores se multiplicarían exponencialmente.

El Nuevo Descubrimiento: No es una Cadena, es un Viaje en Carretera

Este artículo argumenta que la teoría de la "cadena rota" es incorrecta. Los autores dicen que los LLM no fallan de manera uniforme; fallan de una manera muy específica y estructurada. Proponen un nuevo modelo basado en tres ideas principales:

1. No Todas las Palabras Son Iguales (La Analogía del "Volante")

La vieja teoría asumía que cada palabra en una oración es igualmente importante. Los autores dicen que esto es falso.

La Realidad: En un texto largo, solo una pequeña fracción de palabras (aproximadamente del 5% al 10%) son las "críticas". Estas son los Tokens Clave. Son como el volante de un coche, los semáforos o las intersecciones principales en un viaje en carretera. Si te equivocas con estas, sales de la carretera.
El Resto: El otro 90% de las palabras son solo "relleno" o "paisaje". Son como los árboles que pasan o el color de la carretera. Siguen reglas locales (gramática, frases comunes) y en realidad son más fáciles de predecir cuanto más contexto tienes.
El Resultado: No necesitas un coche perfecto para conducir 1.000 millas; solo necesitas asegurarte de no chocar en las pocas intersecciones críticas. El modelo se vuelve mejor al predecir las palabras de "paisaje" a medida que avanza, por lo que la tasa de error para esas cae a casi cero.

2. El Modelo Vive en "Vecindarios Semánticos" (La Analogía del "Centro Comercial")

El artículo sugiere que el cerebro interno del modelo (sus "incrustaciones" o embeddings) no es un espacio plano y desordenado. Está organizado como un enorme centro comercial con "vecindarios" distintos y de baja dimensión.

La Realidad: Una vez que el modelo decide hablar sobre "cocina", entra en el "Vecindario de la Cocina". Incluso si comete un pequeño desliz (como decir "sal" en lugar de "azúcar"), todavía está dentro del Vecindario de la Cocina. No ha salido del edificio.
El Peligro: La única vez que el modelo falla realmente es si comete un error de "Token Clave" que lo expulsa del Vecindario de la Cocina y lo mete en el vecindario de "Reparación de Autos".
El Resultado: Los errores pequeños no rompen toda la historia porque el modelo se mantiene en el "vecindario" correcto. Es como caminar por un centro comercial; si te equivocas de pasillo, aún puedes encontrar tu camino de vuelta al pasillo principal. No caes al borde del mundo.

3. Los Errores Son Aleatorios, No Sistemáticos (La Analogía del "Juego de Adivinanzas")

Cuando el modelo sí comete un gran error en una palabra crítica, generalmente es una casualidad única y aleatoria, no un defecto consistente.

La Realidad: Si le pides al modelo que resuelva un problema matemático 10 veces, podría obtener la respuesta correcta 8 veces. Las 2 veces que se equivoca, falla de diferentes maneras (una vez suma mal, otra vez resta mal).
La Solución: Como los errores son aleatorios y dispersos, si tomas la "votación mayoritaria" (le pides 10 veces y eliges la respuesta más común), los errores aleatorios se cancelan entre sí y la respuesta correcta emerge a la cima.
El Resultado: Por eso técnicas como "Autoconsistencia" (pedirle al modelo que piense de nuevo) funcionan tan bien. No están reparando un motor roto; simplemente están filtrando el ruido aleatorio.

El Gran Panorama: Una Nueva Fórmula

Los autores combinan estas ideas en una nueva fórmula para qué tan confiable es un modelo.

Fórmula Vieja: Fiabilidad = (1 - Error) ^ (Palabras Totales). Esto predice una caída pronunciada.
Fórmula Nueva: Fiabilidad = (1 - Error en Palabras Críticas) ^ (Número de Palabras Críticas) × (1 - Pequeño Error en Palabras Normales) ^ (Resto de las Palabras).

Dado que el número de "Palabras Críticas" (Tokens Clave) no crece tan rápido como la longitud total del texto (incluso podría dejar de crecer después de cierto punto), el modelo no se desploma. Se mantiene confiable.

Qué Significa Esto para la Tecnología Actual

El artículo explica que las recientes tecnologías "milagrosas" no son magia; son simplemente consecuencias naturales de esta estructura:

Compresión: Podemos tirar el 99% del texto y guardar solo las "Palabras Clave" (el volante) sin perder el significado.
Contexto Largo: Los modelos pueden manejar enormes cantidades de texto porque solo necesitan prestar mucha atención a los pocos puntos críticos de decisión, no a cada palabra individual.
Autocorrección: Cuando los modelos corrigen sus propios errores, es porque se están manteniendo dentro del "vecindario" correcto y simplemente corrigiendo un desliz aleatorio.

Resumen

La visión pesimista decía: "Si cometes un error, todo el texto largo queda arruinado".
Este artículo dice: "No. Solo cometes unos pocos errores críticos. El resto del texto es fácil de predecir, y el modelo se mantiene en el camino correcto. Mientras logres acertar en los pocos momentos del 'volante', todo el viaje está seguro".

Resumen Técnico: Más Allá de la Decaimiento Exponencial

Enunciado del Problema
Una visión pesimista predominante en el modelado de lenguaje autoregresivo postula que la corrección decae exponencialmente con la longitud de la salida. Este argumento asume que si cada token tiene una probabilidad de error independiente $e$ , la probabilidad de que una secuencia de longitud $n$ sea correcta sigue $(1-e)^n$ , lo cual se aproxima a cero a medida que $n$ crece. Este modelo sugiere un techo rígido en la fiabilidad de la generación de contexto largo. Sin embargo, esta hipótesis de "error independiente" no tiene en cuenta las observaciones empíricas donde los modelos mantienen la coherencia en salidas largas, exhiben autocorrección durante la generación y muestran que los pesos de atención se concentran fuertemente en un pequeño subconjunto del contexto.

Metodología y Marco Teórico
El artículo propone un modelo de error a dos tasas que rechaza la suposición de un error uniforme por token. En su lugar, partitiona los tokens en dos categorías distintas:

Tokens Clave ( $k$ ): Un pequeño subconjunto (estimado empíricamente entre el 5% y el 10%) que porta dependencias de largo alcance, coherencia global, afirmaciones factuales y transiciones lógicas. Estos tokens tienen una tasa de error más alta ( $e_{key}$ ).
Tokens No Clave ( $n-k$ ): La mayoría de los tokens, gobernados por la sintaxis local, las colocaciones frecuentes y el contexto acumulativo. Su tasa de error ( $e_{non}$ ) es significativamente menor y se aproxima a cero a medida que el contexto se acumula.

El modelo postula que la probabilidad de una secuencia correcta se aproxima mediante:
$P(\text{correcto}) \approx (1 - e_{key})^k \cdot (1 - e_{non})^{n-k}$

Crucialmente, el número de tokens clave $k$ escala sublinealmente con la longitud de la secuencia $n$ (logarítmicamente, como una potencia fraccionaria, o saturando en un máximo específico de la tarea $k_{max}$ ). Además, el modelo incorpora dinámicas de variedad estratificada, sugiriendo que las incrustaciones se organizan en variedades semánticas de baja dimensión. Los errores menores (no clave) a menudo permanecen dentro de la variedad correcta, mientras que solo los errores en tokens clave provocan un salto de trayectoria a una variedad diferente. Finalmente, el marco cuenta con la convergencia de conjuntos, notando que los errores de razonamiento a menudo son idiosincrásicos (variando entre muestras) en lugar de sistemáticos, lo que permite que los métodos de votación mayoritaria recuperen la precisión.

Contribuciones Clave
El artículo hace tres contribuciones principales:

Un Modelo de Error Refinado: Introduce el modelo a dos tasas (Ecuación 1), distinguiendo explícitamente entre tokens clave y no clave, y modelando la dependencia de la fiabilidad en la escala sublineal de $k(n)$ .
Síntesis de Evidencia Empírica: Unifica tres líneas distintas de investigación reciente para apoyar los componentes del modelo:
- Esparsidad de Atención: Evidencia de que solo ~9% de los tokens requieren contexto de largo alcance (Fang et al., 2024) y que la atención se concentra en una fracción diminuta de la secuencia (Liu et al., 2024).
- Geometría de Incrustaciones: Hallazgos de que las incrustaciones de LLM forman variedades estratificadas de baja dimensión donde las perturbaciones en dimensiones de "ruido" no alteran la trayectoria semántica (Li y Sarwate, 2025; Robinson et al., 2025).
- Convergencia de Conjuntos: Datos que muestran que la autoconsistencia y los métodos de búsqueda en árbol mejoran la precisión porque las trayectorias de razonamiento correcto convergen en una variedad mientras que las incorrectas divergen (Wang et al., 2023).
Reencuadre de Resultados a Nivel de Sistema: Interpreta los recientes éxitos de ingeniería —como la compresión de anclajes, la atención aumentada por recuperación y la autoconsistencia— no como victorias independientes, sino como consecuencias naturales del hecho estructural de que la fiabilidad de contexto largo depende de un puñado de puntos de decisión.

Resultados y Regímenes de Decaimiento Predichos
Basado en el comportamiento de $k$ y $e_{non}$ , el artículo predice tres regímenes de decaimiento que son significativamente más suaves que el decaimiento exponencial:

Crecimiento Logarítmico ( $k \sim \log n$ ): Resulta en decaimiento polinómico ( $n^{-c}$ ).
Crecimiento de Potencia Fraccionaria ( $k \sim \sqrt{n}$ ): Resulta en decaimiento estirado-exponencial.
Saturación ( $k \to k_{max}$ ): La fiabilidad se vuelve constante con respecto a $n$ una vez que se compromete el número crítico de hechos clave.

El artículo destaca que el tercer régimen explica por qué los sistemas pueden lograr una reducción de contexto del 99% con pérdida mínima de precisión (Pang et al., 2024) y por qué contextos de 128K tokens son factibles en GPUs de consumo (Liu et al., 2024).

Significado e Implicaciones
El artículo argumenta que el modelo de error independiente es fundamentalmente defectuoso porque promedia sobre una población heterogénea de tokens e ignora la correlación de errores. El significado de este trabajo radica en cambiar el enfoque de la "precisión uniforme por token" hacia la "identificación y aseguramiento de puntos clave de decisión".

Prácticamente, este marco sugiere:

Atención Esparsa: La atención densa es innecesaria; el cómputo debe centrarse en la señal esparsa de los tokens clave.
Cómputo Dirigido: Los recursos deben asignarse a "transiciones de variedad" (puntos de alta incertidumbre) en lugar de distribuirse uniformemente.
Conjuntos Estratégicos: La votación mayoritaria es efectiva para tareas de razonamiento (donde los errores son idiosincrásicos) pero no para la recuperación de conocimiento (donde los errores son sistemáticos).
Evaluación: La perplejidad estándar es un mal predictor del rendimiento posterior; las métricas restringidas a tokens clave (por ejemplo, LongPPL) se correlacionan mucho más fuertemente con el éxito de la tarea.

Limitaciones
Los autores señalan que el marco es una síntesis de evidencia existente en lugar de una derivación desde primeros principios. Los parámetros $k$ , $e_{key}$ y $e_{non}$ aún no han sido medidos conjuntamente en una sola referencia. Además, la distinción entre errores idiosincrásicos y sistemáticos actualmente depende de la observación a posteriori en lugar de un criterio cuantitativo a priori.

Conclusión
El artículo concluye que los LLM modernos mantienen la coherencia en salidas largas no porque la ingeniería haya superado una barrera de decaimiento exponencial, sino porque la propia barrera era una mala caracterización del problema. La fiabilidad depende de un número acotado o de crecimiento sublineal de decisiones clave, no de la precisión uniforme de cada token.