💬 NLP

XTC: Head-Aware Sampling by Excluding Top Choices

El artículo introduce XTC (Exclude Top Choices), una estrategia de decodificación ligera que elimina selectivamente los tokens dominantes de alta probabilidad para mejorar significativamente la diversidad y la creatividad de la generación, manteniendo al mismo tiempo la fluidez y la precisión en el seguimiento de instrucciones en diversos modelos de lenguaje de gran tamaño.

Autores originales: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cuando un programa de computadora aprende a escribir, no piensa en frases de la misma manera que lo hace un humano. En su lugar, predice la siguiente palabra basándose en las que vinieron antes, eligiendo de una larga lista de posibilidades. Durante mucho tiempo, la forma estándar de hacer que estos programas escribieran textos variados e interesantes era incitarlos hacia palabras menos comunes o descartar aquellas que eran muy improbables. Este enfoque funcionaba bien para evitar el sinsentido, pero a menudo derivaba en un problema diferente: el texto se volvía seguro, repetitivo y extrañamente uniforme. Incluso cuando la computadora conocía varias formas buenas de continuar una historia, casi siempre elegía la opción única más obvia y genérica, como un viajero que siempre elige el camino principal incluso cuando hay un sendero escénico justo al lado. Esta tendencia a aferrarse a la opción más segura, incluso cuando existen otras opciones sólidas, ha estado drenando silenciosamente la creatividad de la escritura generada por máquinas.

Un equipo de investigadores ha introducido ahora un nuevo método llamado XTC, que significa Exclude Top Choices (Excluir las mejores opciones), diseñado para corregir este hábito específico. En lugar de mirar las palabras improbables al final de la lista o intentar aplanar toda la lista de opciones, esta nueva técnica se enfoca en la parte superior de la lista. Espera hasta que la computadora esté genuinamente indecisa entre dos o más opciones muy buenas. Cuando eso sucede, el método elimina deliberadamente la opción más popular de la contienda, obligando a la computadora a elegir entre las otras alternativas sólidas restantes. Es un interruptor simple que solo se activa cuando la computadora está verdaderamente dividida entre buenos caminos, asegurando que el resultado sea diverso sin volverse sin sentido.

Los investigadores probaron esta idea en varios modelos de lenguaje extensos diferentes, que van desde modelos más pequeños con 12 mil millones de parámetros hasta otros masivos de 70 mil millones. Les pidieron a los modelos que escribieran historias creativas, hicieran lluvias de ideas y mantuvieran diálogos, comparando el nuevo método contra las formas estándar de generar texto. Los resultados fueron claros y consistentes. Al usar XTC, el texto generado se volvió significativamente más diverso, con un aumento mensurable en la variedad de palabras y frases utilizadas. Al mismo tiempo, el texto se volvió mucho menos repetitivo, con los modelos repitiendo las mismas frases de tres palabras con mucha menos frecuencia. En un conjunto de pruebas, la variedad de la escritura mejoró entre un 11 y un 15 por ciento, mientras que la repetición de frases comunes cayó casi a la mitad.

Crucialmente, los investigadores encontraron que este aumento en la variedad no se produjo a costa de la calidad o la claridad. Cuando voluntarios humanos y otros programas informáticos avanzados juzgaron la escritura, prefirieron el texto generado por XTC por su creatividad e interés, calificándolo por encima de las versiones estándar. La escritura mantuvo su fluidez y facilidad de lectura, sin una caída perceptible en la calidad general. El método también demostró ser muy preciso en su aplicación; no interfirió con tareas que requerían una precisión estricta, como seguir instrucciones específicas o escribir código, a menos que los ajustes se forzaran demasiado. De hecho, cuando los investigadores compararon XTC con el método tradicional de simplemente hacer que la computadora fuera más aleatoria, XTC logró el mismo nivel de variedad preservando mucho mejor la capacidad de seguir instrucciones.

El estudio también mostró que este nuevo enfoque funciona bien junto con las herramientas existentes. Puede combinarse con otros métodos que controlan la aleatoriedad o la repetición, y los beneficios se suman en lugar de cancelarse entre sí. Cuando se combinó con un ajuste de temperatura estándar, la combinación produjo mejoras aún mayores, reduciendo la repetición en más del 70 por ciento en algunos casos mientras aumentaba la variedad en casi un 40 por ciento. Los investigadores confirmaron que este efecto se mantiene a través de diferentes tipos de modelos y diferentes niveles de compresión de memoria de la computadora, lo que sugiere que el método es robusto y ampliamente aplicable.

Lo que hace que este hallazgo sea significativo es que aborda un punto ciego en la forma en que estos sistemas han sido ajustados durante años. Los métodos anteriores asumían que el problema de la escritura repetitiva provenía de las palabras muy improbables y extrañas al final de la lista. Este nuevo trabajo muestra que el problema real suele estar en la parte superior, donde la computadora tiene tanta confianza en su opción más segura que ignora otras alternativas perfectamente buenas. Al empujar suavemente al sistema lejos de esa única opción dominante solo cuando está genuinamente incierta, el método desbloquea un rango de expresión más natural y humano. La técnica ya ha sido adoptada por varias herramientas de código abierto populares utilizadas por desarrolladores, lo que indica que ofrece una forma práctica de hacer que la escritura de la inteligencia artificial se sienta menos como una máquina y más como un socio creativo.

Resumen Técnico: XTC (Exclude Top Choices / Excluir las Mejores Opciones)

1. Planteamiento del Problema

Los modelos de lenguaje autorregresivos requieren estrategias de decodificación que equilibren la fidelidad a la distribución aprendida con los objetivos de las tareas descendentes. Los métodos existentes para promover la diversidad, como el escalado de temperatura, top- $k$ , top- $p$ (núcleo) y el muestreo típico, operan principalmente mediante la truncación de la cola de baja probabilidad de la distribución de tokens o el reescalado de la entropía global. Aunque son efectivos para reducir el ruido de la cola, estos enfoques suelen fallar en un régimen específico de "ambigüedad de la cabeza" (head-ambiguity).

En este régimen, el modelo asigna una probabilidad sustancial a varias continuaciones individualmente plausibles, pero concentra desproporcionadamente la masa en la opción más genérica o convencional. Debido a que las alternativas relevantes residen en la "cabeza" de la distribución y no en la cola, los métodos de truncación de cola tienen poco efecto. Por el contrario, el aplanamiento global (por ejemplo, una temperatura alta) es demasiado tosco, interviniendo en cada paso independientemente de si el modelo presenta una incertidumbre genuina entre opciones sólidas. Esto conduce a una homogeneización del contenido donde los resultados individuales parecen variados, pero la diversidad a nivel de población permanece baja, y los modelos recurren a las continuaciones más seguras y repetitivas.

2. Metodología: XTC (Exclude Top Choices)

XTC es un operador de decodificación ligero y consciente de la cabeza, diseñado para intervenir específicamente cuando un modelo enfrenta múltiples opciones plausibles pero sobrepondera la dominante. Opera como un paso de post-procesamiento sobre la distribución del siguiente token $p_t$ después de cualquier transformación ascendente (por ejemplo, temperatura, penalizaciones).

El Algoritmo

Dada una distribución del siguiente token $p_t$ , un umbral de plausibilidad $\tau$ y una probabilidad de intervención $\rho$ :

Identificar el Conjunto Elegible: Recopilar todos los tokens $v$ donde $p_t(v) \ge \tau$ en un conjunto $E_t$ .
Verificar Ambigüedad: Si $|E_t| < 2$ , la cabeza es inequívoca; devolver $p_t$ sin cambios.
Disparador Estocástico: Lanzar una moneda sesgada con probabilidad $\rho$ . Si sale cruz, devolver $p_t$ sin cambios (propiedad de dispersión temporal).
Seleccionar al "Underdog": Si sale cara y $|E_t| \ge 2$ , identificar el token $u \in E_t$ con la menor probabilidad (la alternativa plausible más "débil").
Excluir al Dominante: Definir el conjunto de eliminación $R_t = E_t \setminus \{u\}$ . Si $R_t$ contiene tokens protegidos (por ejemplo, EOS, saltos de línea), abortar y devolver $p_t$ .
Renormalizar: Establecer $p_t(v) = 0$ para todo $v \in R_t$ y renormalizar las probabilidades restantes para que sumen 1.

Propiedades Teóricas

Disperso en el Tiempo: Inactivo cuando la cabeza es inequívoca o cuando el disparador estocástico falla.
Consciente de la Cabeza: Se dirige a las alternativas de alta probabilidad, a diferencia de los métodos de truncación de cola.
Componible: Puede insertarse en cualquier pila de muestreo existente.
Proyección KL: El paso de renormalización es el minimizador único de la divergencia de Kullback-Leibler $KL(q \parallel p_t)$ entre todas las distribuciones soportadas en los tokens supervivientes, preservando las probabilidades relativas de las opciones restantes.

3. Contribuciones Clave

Formalización de XTC: Definido como un operador específico sobre distribuciones de tokens con un algoritmo completo y listo para su implementación.
Análisis Estructural: Derivación de propiedades que distinguen a XTC de los métodos basados en entropía y de truncación de cola, incluyendo una interpretación de proyección KL.
Evaluación Exhaustiva: Realización de 60 experimentos a través de tres familias principales de modelos (Gemma 3 27B q4, Gemma 3 12B q6, DeepSeek R1 14B q6) y una validación de escalabilidad en Llama 3.3 70B q4.
Frontera de Pareto Diversidad-Repetición: Demostración de que XTC mejora la relación entre diversidad y repetición en tareas creativas, con ganancias que escalan monótonamente de 12B a 70B parámetros.
Validación Humana y de LLM: Validación de resultados mediante un estudio ciego de Amazon Mechanical Turk (150 evaluadores) y un panel de jueces de LLM de distintos proveedores (Claude Opus 4.7 y GPT-4o).
Preservación del Seguimiento de Instrucciones: Cuantificación del coste de la diversidad en tareas de seguimiento de instrucciones (IFEval), mostrando que XTC preserva la precisión significativamente mejor que el escalado de temperatura para ganancias de diversidad equivalentes.

4. Resultados Experimentales

Diversidad y Repetición

Generación Creativa: En 24 prompts creativos a través de 12 géneros, XTC (con $\rho=1.0, \tau=0.1$ $ρ = 1.0, τ = 0.1$ ) alcanzó las mejores puntuaciones en todas las métricas.
- Distinct-2: Ganancias de 11–15% en cuatro modelos, aumentando con el recuento de parámetros (12B a 70B).
- Repetición: Reducciones de trigramas repetidos de 27–47%.
- Composición: Al componerse con el escalado de temperatura, las mejoras totales sobre la línea base alcanzan un 38% en Distinct-2 y un 71% en la reducción de trigramas repetidos.
Generalización: Los efectos fueron consistentes a través de los niveles de cuantización (q4 vs. q6) y las arquitecturas de modelos (Gemma, Qwen-derivada DeepSeek, Llama).

Calidad y Preferencia Humana

Jueces LLM: Tanto Claude Opus 4.7 como GPT-4o coincidieron en que XTC mejora significativamente la repetición y mejora direccionalmente la creatividad y la diversidad léxica sin degradar la calidad general.
Evaluación Humana: En un estudio ciego con 150 evaluadores expertos, XTC fue preferido sobre la línea base en Creatividad en el 62.3% de las comparaciones ( $p < 10^{-4}$ ). Empató o superó a la línea base en Calidad en el 84.4% de las comparaciones.

Seguimiento de Instrucciones (IFEval)

En Llama 3.3 70B q4, XTC Light y Medium desplazaron la precisión estricta a nivel de prompt solo en $-0.4 $y$ -1.7$ puntos porcentuales, respectivamente.
En contraste, un ajuste de temperatura ( $T=1.15$ ) calibrado para lograr una ganancia de Distinct-2 similar causó una caída de 8.8 puntos porcentuales en la precisión de IFEval.
XTC ofrece aproximadamente 5 veces más ganancia de diversidad por cada punto de pérdida en el seguimiento de instrucciones en comparación con el escalado de temperatura.

5. Significado y Reivindicaciones

El artículo sostiene que XTC aborda un fallo específico, previamente pasado por alto, en la generación autorregresiva: el régimen de "ambigüedad de la cabeza", donde los modelos tienen múltiples opciones sólidas pero recurren a la más segura. Al dirigirse a la cabeza en lugar de a la cola, XTC proporciona un mecanismo para aumentar la diversidad estilística y reducir la repetición sin el fuerte coste para la coherencia o el seguimiento de instrucciones que suele asociarse con la manipulación de la entropía global.

Los autores posicionan a XTC como una solución práctica y de fácil integración que ya ha sido adoptada por los principales marcos de inferencia de código abierto (llama.cpp, ExLlamaV2, text-generation-webui). El trabajo sugiere que las futuras estrategias de decodificación deberían considerar la "cabeza" de la distribución como una superficie de control distinta, ortogonal a la truncación de la cola y a la temperatura global.

Limitaciones Reconocidas:

XTC no es universalmente beneficioso; puede degradar el rendimiento en tareas que requieren exactitud (por ejemplo, generación de código, extracción estructurada) si la tasa de intervención $\rho$ es demasiado alta.
Los parámetros óptimos ( $\tau, \rho$ ) dependen de la tarea y pueden variar según la escala del modelo y los tokenizadores.
Es una intervención en el tiempo de decodificación y no puede corregir deficiencias fundamentales del modelo o la homogeneización de los datos de entrenamiento.