🤖 machine learning

Language models suffer from a curse of ambiguity

Este artículo identifica y analiza teóricamente una "maldición de la ambigüedad" en los modelos de lenguaje de gran tamaño, demostrando que las distribuciones de siguiente token ambiguas son inherentemente más difíciles de aprender con precisión debido al aumento en los requisitos de capacidad, tamaños de incrustación, pasos de entrenamiento y el ruido de muestreo amplificado, un hallazgo validado mediante experimentos tanto sintéticos como del mundo real.

Autores originales: Nicolas Zucchet, Hyun Dong Lee, Scott Linderman

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Nicolas Zucchet, Hyun Dong Lee, Scott Linderman

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Las computadoras modernas que escriben y hablan se basan en una idea simple y poderosa: predicen la siguiente palabra de una oración observando las palabras que vinieron antes. Este proceso ocurre una palabra a la vez, como una persona pensando en una historia, eligiendo el siguiente paso más probable basado en lo que ya se ha dicho. Durante años, los ingenieros se han centrado en hacer que estas máquinas sean mejores para encontrar la respuesta única más obvia. Pero a medida que estos sistemas se vuelven más avanzados, se les pide cada vez más que manejen situaciones donde no hay una única respuesta obvia. Cuando una oración podría terminar de muchas maneras diferentes e igualmente razonables, la máquina debe aprender a repartir su confianza entre todas esas posibilidades, no solo elegir la principal. Esta capacidad de comprender la incertidumbre se está volviendo crítica, especialmente a medida que estas máquinas comienzan a escribir los datos de entrenamiento para sus futuras versiones. Si no logran capturar la gama completa de posibilidades, corren el riesgo de crear un bucle estrecho y repetitivo que degrade la calidad de su propio aprendizaje.

Un equipo de investigadores de la Universidad de Stanford ha descubierto una barrera fundamental que hace que esta tarea sea sorprendentemente difícil. Encontraron que cuanto más ambiguo es un escenario —es decir, cuando hay más palabras siguientes plausibles—, más difícil le resulta a la máquina aprender la distribución correcta de probabilidades. Lo llaman la "maldición de la ambigüedad". No es solo una cuestión de que la máquina sea ligeramente más lenta o necesite más datos; la dificultad está integrada en la propia arquitectura de las redes neuronales que impulsan estos modelos. Los investigadores demostraron que, a medida que aumenta el número de respuestas correctas posibles, la máquina requiere significativamente más espacio de almacenamiento interno, representaciones internas de palabras más grandes y muchos más pasos de entrenamiento para lograr que las matemáticas sean correctas. Incluso cuando la máquina finalmente aprende, el proceso de elegir una sola palabra entre las muchas posibilidades introduce un tipo de ruido que le impide coincidir perfectamente con la verdadera distribución del lenguaje.

Para entender por qué sucede esto, el equipo desglosó el problema en sus partes más pequeñas. Trataron la capa final de toma de decisiones de la máquina como un clasificador simple que mapea un contexto a un conjunto de resultados posibles. En sus experimentos, crearon tareas sintéticas donde conocían la verdad exacta: un número específico de palabras eran igualmente probables de seguir a una frase dada. Encontraron que almacenar un patrón con diez resultados posibles requería aproximadamente diez veces más capacidad que almacenar un patrón con solo uno. Es como si la máquina tuviera que construir una vía distinta y separada para cada opción posible que debe recordar. Además, descubrieron que el "vocabulario" interno que la máquina utiliza para contener estos contextos debe aumentar de tamaño para acomodar la ambigüedad. Si la máquina intenta representar una situación con muchos finales válidos utilizando una representación que es demasiado pequeña, simplemente no puede distinguir entre las opciones, sin importar cuánto entrene.

La dificultad se extiende más allá del almacenamiento. Los investigadores también analizaron cómo la máquina aprende con el tiempo. Encontraron que, cuando una situación tiene muchos resultados posibles, el proceso de aprendizaje comienza de forma mucho más lenta. Debido a que la máquina ve cada palabra correcta específica con menos frecuencia cuando hay muchas de ellas, la señal que recibe para ajustar sus configuraciones internas es más débil. Esto significa que tarda más en empezar a progresar. Peor aún, el acto de entrenar con datos reales, donde la máquina solo ve un ejemplo aleatorio de la palabra siguiente correcta a la vez, introduce un error persistente. Cuando el objetivo es una palabra única y cierta, la máquina puede aprenderla perfectamente. Pero cuando el objetivo es un conjunto de muchas palabras, la aleatoriedad de ver solo un ejemplo en cada paso crea un suelo de error que la máquina no puede superar. No importa cuánto entrene, siempre estará ligeramente errada, incapaz de replicar perfectamente la verdadera dispersión de probabilidades.

El equipo confirmó estos hallazgos no solo en sus pruebas sintéticas controladas, sino también en modelos de lenguaje de gran escala entrenados con texto del mundo real. Al analizar cómo estos modelos se desempeñaban en datos reales, observaron las mismas firmas: a medida que aumentaba la ambigüedad de un contexto, las predicciones del modelo se volvían menos precisas y tendía a filtrar masa de probabilidad hacia palabras que no deberían estar allí. Esto sugiere que la maldición de la ambigüedad es una propiedad universal de estos sistemas, que afecta desde los modelos experimentales pequeños hasta los masivos sistemas de billones de parámetros utilizados hoy en día. Los investigadores argumentan que esta limitación no es un error que pueda arreglarse con una simple actualización de software, sino una restricción fundamental de cómo estas redes representan la incertidumbre.

Este descubrimiento cambia la forma en que debemos pensar sobre las capacidades de la inteligencia artificial. Sugiere que, si bien aumentar el tamaño de estos modelos ayuda, no resuelve el problema central de la ambigüedad. Incluso los modelos más grandes siempre lucharán por modelar perfectamente las situaciones con muchos resultados plausibles, dejando una fracción residual de la verdad sin aprender. Esto tiene implicaciones prácticas para cómo confiamos en estos sistemas. En campos donde la precisión es importante, como el diagnóstico médico o el razonamiento legal, debemos ser conscientes de que la distribución de confianza del modelo puede ser inherentemente ruidosa cuando la respuesta no es clara. El trabajo proporciona un nuevo marco para entender cuándo confiar en el resultado de una máquina y cuándo su incertidumbre es un signo de una limitación estructural profunda en lugar de una falta de datos. En última instancia, el artículo revela que la misma cosa que hace que el lenguaje humano sea rico y flexible —la capacidad de decir muchas cosas diferentes de muchas maneras distintas— es la misma cosa que lo convierte en lo más difícil de aprender para una máquina.

Resumen Técnico: La Maldición de la Ambigüedad en los Modelos de Lenguaje de Gran Escala

Declaración del Problema

Los modelos de lenguaje de gran escala (LLM) dependen cada vez más del muestreo para impulsar mejoras en el escalado en tiempo de inferencia, el aprendizaje por refuerzo y la generación de datos sintéticos. Estos métodos dependen críticamente de la fidelidad de la distribución de tokens de siguiente paso aprendida por el modelo. Sin embargo, no todas las distribuciones son igualmente aprendibles. El artículo identifica una limitación fundamental denominada la maldición de la ambigüedad: en los modelos de lenguaje autorregresivos (y, de forma más amplia, en las redes neuronales que producen distribuciones de probabilidad discretas), cuanto más ambigua es una distribución de siguiente token (es decir, cuanto más tokens comparten una masa de probabilidad significativa), más difícil es aprenderla con precisión.

Este fenómeno plantea riesgos para el rendimiento del modelo, particularmente en entornos ambiguos donde múltiples continuaciones son plausibles. Si los modelos no logran capturar la distribución completa y, en su lugar, colapsan hacia un único modo, esto puede derivar en una falta de diversidad en el contenido generado, la propagación de errores en el entrenamiento recursivo y una mala calibración en aplicaciones de alto riesgo.

Metodología

Los autores emplean un enfoque multifacético que combina análisis teórico, experimentos sintéticos controlados y evaluación sobre datos del mundo real.

1. Marco Teórico

Los autores formalizan la predicción del siguiente token como un problema de clasificación de contexto a token. Aíslan la cabeza lineal de la arquitectura Transformer, tratando los embeddings de contexto del backbone como dados, para analizar los desafíos específicos de ajustar distribuciones objetivo $p_i$ definidas sobre un vocabulario de tamaño $d$ .

Métrica de Ambigüedad: La ambigüedad se cuantifica mediante el tamaño del soporte $k$ (el número de tokens con probabilidad no nula en la verdad de campo). Para distribuciones uniformes, $k$ es el tamaño exacto del soporte; para distribuciones no uniformes, es el tamaño efectivo del soporte (exponencial de la entropía).
Análisis Arquitectónico (Secciones 3): Los autores analizan la capacidad y los requisitos de representación de la cabeza lineal.
- Capacidad: Utilizando una construcción de tipo Hebbiano y una descomposición de señal-ruido, derivan que el número de contextos que un modelo puede almacenar escala inversamente con el tamaño del soporte $k$ .
- Dimensión de Embedding: Basándose en la detección comprimida (compressed sensing) y la teoría de politopos convexos (específicamente la $k$ -vecindad), demuestran que la dimensión de embedding $h$ debe escalar linealmente con $k$ ( $h \ge 2k$ ) para representar exactamente todas las distribuciones de tamaño $k$ posibles.
Análisis de la Dinámica de Aprendizaje (Sección 4): Los autores estudian el flujo de gradiente y la dinámica del descenso de gradiente estocástico (SGD).
- Velocidad de Optimización: Demuestran que el aprendizaje de distribuciones ambiguas es más lento inicialmente porque cada token en el soporte se observa con menos frecuencia, proporcionando una señal más débil. La tasa de convergencia en la fase tardía es independiente de $k$ , pero el prefactor de la pérdida escala con $k$ .
- Ruido de Muestreo: Analizan el efecto de entrenar con tokens muestreados individualmente en lugar de distribuciones completas. Demuestran que el muestreo introduce un "suelo de ruido" en la divergencia KL que escala con $k$ , impidiendo que el modelo alcance la misma pérdida asintótica que los objetivos deterministas.

2. Validación Empírica

Tareas Sintéticas (Sección 5.1): Los autores entrenan Transformers en una tarea de 3-gramas controlada derivada del corpus TinyStories. Las distribuciones de verdad de campo son conocidas, lo que permite una medición precisa de los errores de predicción. Realizan ablaciones sobre la capacidad del modelo, la dimensión del embedding, los pasos de entrenamiento y las funciones de pérdida (entropía cruzada frente a divergencia KL).
Modelos del Mundo Real (Sección 5.2): Evalúan modelos preentrenados (OLMo-2 1B y 13B) en datos naturales (Dolma v1.7). Dado que la verdad de campo es desconocida, utilizan el modelo más grande como un proxy de la distribución real y estiman la frecuencia del contexto mediante la similitud de embeddings.

Contribuciones Clave

Formalización de la Maldición de la Ambigüedad: El artículo define y formaliza el fenómeno donde una mayor ambigüedad (mayor tamaño de soporte $k$ ) conduce a una mayor dificultad para aprender distribuciones precisas.
Identificación de las Raíces Arquitectónicas:
- Restricción de Capacidad: Las distribuciones ambiguas requieren $k$ veces más capacidad de parámetros para almacenarse que las deterministas ( $Capacidad \propto hd/k$ ).
- Restricción de Representación: Las distribuciones ambiguas requieren dimensiones de embedding que escalen linealmente con el tamaño del soporte ( $h \ge 2k$ ) para ser representadas sin error.
Identificación de las Raíces del Aprendizaje:
- Ralentización de la Optimización: Las distribuciones ambiguas aprenden más lento inicialmente (tasa $\propto 1/k$ ) y convergen a una meseta de pérdida más alta.
- Amplificación del Ruido: Entrenar con tokens muestreados (práctica estándar) amplifica el ruido para las distribuciones ambiguas, creando un suelo de ruido dependiente de $k$ en la divergencia KL que impide una calibración perfecta.
Verificación Empírica: El estudio confirma estas firmas teóricas tanto en entornos sintéticos como en modelos de lenguaje del mundo real, mostrando que el rendimiento se degrada a medida que aumenta el tamaño del soporte efectivo, incluso cuando la frecuencia del contexto se mantiene constante.

Resultados

Capacidad y Embeddings: Los experimentos con datos sintéticos confirman que aumentar la dimensión del embedding o la capacidad del modelo mejora el rendimiento de manera uniforme a través de todos los tamaños de soporte, pero específicamente, aumentar la dimensión del embedding o optimizar la divergencia KL esperada (eliminando el ruido de muestreo) mejora significamente el modelado de contextos de alta ambigüedad sin afectar sustancialmente a los contextos deterministas.
Dinámica de Aprendizaje: Las simulaciones muestran que las distribuciones ambiguas sufren un "suelo de ruido" en el SGD que está ausente en el flujo de gradiente. A medida que el entrenamiento progresa, la pérdida para las distribasiones ambiguas se estanca en una meseta, mientras que la pérdida para las distribuciones deterministas continúa disminuyendo.
Comportamiento en el Mundo Real: En modelos del mundo real, los contextos con tamaños de soporte efectivos más altos exhiben una mayor divergencia KL y "fuga" sistemáticamente masa de probabilidad fuera del soporte real, lo que conduce a una sobre-entropía en la distribución a nivel de secuencia.

Significado y Reivindicaciones

El artículo afirma proporcionar una nueva perspectiva sobre las capacidades estadísticas de los modelos de lenguaje de gran escala, ofreciendo un marco práctico para entender cuándo confiar en la distribución de salida de un modelo.

Perspectiva Mecanística: El trabajo va más allá de las leyes de escalado empírico para proporcionar una explicación mecanística de por qué los modelos tienen dificultades con la incertidumbre. Vincula la dificultad de aprender la ambigüedad con propiedades geométricas y de optimización fundamentales de las redes neuronales.
Implicaciones para el Escalado: Los autores argumentan que, si bien el escalado (aumento de parámetros y datos) mitiga la maldición, lo hace solo de forma asintótica. Incluso a gran escala, queda una fracción residual de la distribución sin modelar, particularmente en contextos altamente ambiguos.
Relevancia Amplia: Los hallazgos se extienden más allá de los LLM a cualquier red neuronal que produzca distribuciones de probabilidad discretas. El artículo establece un paralelismo con la "paradoja de la elección" de la psicología cognitiva, sugiriendo que representar una distribución repartida entre muchas opciones es fundamentalmente más exigente en términos de capacidad y muestras que representar una única respuesta.
Marco Práctico: Los resultados sugieren que para tareas que requieren un modelado de distribución de alta fidelidad (por ejemplo, razonamiento, planificación o generación de contenido diverso), aumentar simplemente el tamaño del modelo puede ser insuficiente; puede ser necesario prestar atención específica a las dimensiones de embedding y al manejo del ruido de muestreo (por ejemplo, mediante la optimización de la divergencia KL o el uso de tamaños de lote más grandes).

Los autores concluyen que la maldición de la ambigüedad es una restricción fundamental que debe tenerse en cuenta al diseñar modelos para tareas que implican incertidumbre, y que los modelos actuales probablemente subestiman la verdadera complejidad de los contextos ambiguos del lenguaje natural.