Resumen Técnico: PERDIDOS EN LA MUESTREO

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) modernos generan frecuentemente texto que es homogéneo, repetitivo y carente de la riqueza léxica del discurso humano. Si bien investigaciones anteriores han atribuido este "colapso de modo" a técnicas de alineación del modelo (como RLHF o DPO) o limitaciones en los datos de entrenamiento, este artículo investiga el papel de la mecánica de decodificación en la supresión de la diversidad lingüística. Los autores postulan que los filtros de muestreo estándar (por ejemplo, Top-p, Top-k, Min-p) actúan como mecanismos agresivos de poda que eliminan matemáticamente las palabras de baja frecuencia y alta información de la ruta generativa, incluso cuando esas palabras residen dentro del espacio de probabilidad latente del modelo. Esto resulta en un "colapso estructural" donde el vocabulario operativo del modelo se ve artificialmente restringido, suavizando la expresión humana única en un discurso homogeneizado.

Metodología: La Puntuación de Cobertura de Palabras (WCS)

Para cuantificar la medida en que los filtros de muestreo podan el vocabulario contextualmente apropiado, los autores introducen la Puntuación de Cobertura de Palabras (WCS). Esta métrica mide la "tasa de supervivencia léxica" de las palabras humanas en función de los parámetros de muestreo. La evaluación sigue una Auditoría de Ruta Forzada de cuatro etapas:

1. Selección Léxica: Se selecciona un conjunto objetivo de palabras de "Cola Media-Larga" del Corpus de Billones de Palabras de Google Web. Estas palabras se clasifican entre la 10.000 y la 40.000 en frecuencia para evitar palabras funcionales comunes y ruido extremadamente raro.
2. Emparejamiento Contextual: Las palabras objetivo se mapean de nuevo a contextos naturalistas extraídos del conjunto de datos PG-19 (libros publicados antes de 1919), asegurando una evaluación dentro de un entorno rico lingüísticamente, escrito por humanos y libre de homogeneización web moderna.
3. Auditoría de Ruta Forzada: Para cada palabra $w$ (compuesta por sub-palabras tokenizadas $t_1, \dots, t_n$) y contexto $C$, se proporciona al modelo el prefijo de verdad fundamental. En lugar de muestrear, el sistema registra la clasificación y la probabilidad de los tokens de verdad fundamental. La auditoría determina si estos tokens sobrevivirían a la lógica de poda de algoritmos de muestreo específicos:
   • Supervivencia Top-k: El token debe estar clasificado dentro de los $k$ más probables.
   • Supervivencia Top-p (Núcleo): El token debe pertenecer al conjunto más pequeño de tokens cuya probabilidad acumulada alcanza el umbral $p$.
   • Supervivencia Min-p: La probabilidad del token debe exceder una fracción escalada $m$ de la probabilidad máxima del token.
4. Cálculo de la Métrica: La WCS se calcula como la media agregada de alcanzabilidad ($R$) a través del conjunto de palabras objetivo $W$ y sus contextos. Una palabra se considera "cubierta" ($R=1$) solo si cada token constituyente sobrevive al filtro en su paso respectivo.

Configuración Experimental

El estudio evaluó modelos de pesos abiertos con menos de 20 mil millones de parámetros, comparando variantes Base (crudas) contra variantes Instruct/It (alineadas). Las familias de modelos incluyeron Llama, Mistral, Qwen, Gemma y DeepSeek. Los experimentos realizaron un barrido sistemático de los parámetros de muestreo:

• Top-p: 0.7 a 0.99
• Top-k: 1 a 20
• Min-p: 0.01 a 0.1
• Temperatura: 0.7, 1.0 y 1.5

La evaluación se centró en la fracción de palabras que se vuelven inalcanzables ($WCS(\theta, w) = 0$) a través de 10 contextos por palabra, midiendo efectivamente el "borrado de palabras".

Resultados Clave

• Borrado Sistemático de Palabras: Bajo configuraciones estándar predeterminadas de la industria (por ejemplo, Top-p $\approx$ 0.8–0.95, $T \approx$ 0.7), una fracción significativa de palabras objetivo (del 22% al 57%) es completamente inalcanzable en cualquiera de sus contextos. Por ejemplo, el modelo Gemma-4-E4B-it borró el 57% de las palabras objetivo bajo su configuración predeterminada.
• Impacto de la Alineación: Los modelos ajustados por instrucciones (alineados) exhiben generalmente una menor alcanzabilidad léxica que sus contrapartes base. En pares coincidentes, la alcanzabilidad media a nivel de palabra disminuyó de 0.740 (Base) a 0.728 (Instruct), y la WCS agregada disminuyó de 0.290 a 0.277. Esto sugiere que los procesos de optimización de preferencias restringen directamente el espacio de vocabulario utilizable.
• Déficit de Destilación: El modelo DeepSeek-R1-Distill-Qwen-14B mostró una pérdida significativa de vocabulario en comparación con su base Qwen2.5-14B, lo que indica que destilar capacidades de razonamiento estructurado introduce restricciones adicionales en la accesibilidad léxica.
• Ineficacia de la Alta Temperatura: Incluso bajo configuraciones agresivas de alta temperatura ($T=1.5$), una fracción sustancial de contextos falló al seleccionar las palabras objetivo, lo que indica que simplemente aumentar la temperatura no recupera completamente la diversidad léxica y a menudo compromete la coherencia.
• Varianza Específica del Modelo: Si bien la mayoría de las familias mostraron una diversidad reducida después de la alineación, la familia Gemma mostró patrones no uniformes; Gemma-3-12B-it mejoró sobre su base, mientras que Gemma-4-E4B-it sufrió una erosión severa, destacando que los impactos de la alineación varían según la arquitectura y la iteración de entrenamiento.

Significado y Reclamaciones

El artículo afirma que los valores predeterminados estándar de muestreo actúan como mecanismos de censura no intencionados, podando matemáticamente el "Jardín de Caminos que se Dividen" (una metáfora del espacio de probabilidad latente del modelo) antes de que se seleccione un token. La WCS proporciona una herramienta de diagnóstico rigurosa para cuantificar este fenómeno, revelando que la homogeneización de la salida de los LLM no es solo el resultado de datos de entrenamiento o alineación, sino que está estructuralmente impuesta por filtros de decodificación.

Los autores argumentan que esta erosión léxica plantea un riesgo a largo plazo para la evolución del lenguaje. A medida que el texto generado por modelos llena los repositorios públicos y se convierte en datos de entrenamiento para modelos futuros, la ingestión recursiva de este discurso aplanado podría restringir permanentemente el léxico humano activo, borrando la "Cola Larga" de la expresión diversa. El artículo concluye que preservar la diversidad del vocabulario requiere un cambio de paradigma: tratar la amplitud léxica como un objetivo arquitectónico central equivalente a la corrección factual, en lugar de un parámetro superficial, y desarrollar decodificadores guiados semánticamente que puedan distinguir entre ruido y vocabulario de baja frecuencia, rico en contexto.

Limitaciones

Los autores reconocen varias restricciones:

• Alcance: El estudio se limita a modelos de pesos abiertos <20B parámetros y solo al idioma inglés.
• Sesgo de Datos: Los contextos se extraen de literatura anterior a 1919 (PG-19), introduciendo un sesgo histórico, aunque esto evita la homogeneización web moderna.
• Métrica Binaria: La WCS mide la exclusión absoluta ($R=0$ o $1$) y no captura la "erosión suave" donde una palabra sigue siendo alcanzable pero su probabilidad se reduce significativamente.
• Varianza del Tokenizador: Las diferencias en la tokenización de sub-palabras entre familias de modelos significan que el número de pasos de filtrado para una sola palabra varía, afectando la comparabilidad directa.
• Contexto Estático: La auditoría utiliza un prefijo fijo de 256 tokens, no evaluando dependencias de largo alcance.