🤖 AI

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

Este artículo introduce los "cliff tokens" como disparadores de un solo token precisos para el fallo en el razonamiento matemático de los LLM, proponiendo una taxonomía de estos tokens y demostrando que optimizarlos mediante Cliff-DPO mejora significativamente la precisión del modelo en diversos benchmarks.

Autores originales: Jaeyong Ko, Pilsung Kang, Yukyung Lee

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jaeyong Ko, Pilsung Kang, Yukyung Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que un Modelo de Lenguaje Extenso (LLM) intentando resolver un problema matemático es como un excursionista tratando de llegar a la cima de una montaña. La mayor parte del tiempo, el excursionista sigue un camino claro y seguro hacia la cima. Sin embargo, a veces, incluso en la misma montaña y con el mismo mapa, el excursionista toma un giro equivocado y termina en un valle, sin alcanzar nunca la cumbre.

Durante mucho tiempo, los investigadores supieron que estos "giros equivocados" ocurrían, pero no sabían exactamente dónde el excursionista se salía del sendero. ¿Fue un párrafo entero de mal razonamiento? ¿Una oración completa? ¿O fue solo una palabra específica la que lo cambió todo?

Este artículo introduce un nuevo concepto llamado el "Cliff Token" (Token de Acantilado).

La metáfora del acantilado

Piensa en el viaje del excursionista como un camino a lo largo de un acantilado. Durante la mayor parte del viaje, el suelo es sólido. Pero luego, hay un paso específico donde el suelo de repente desaparece en un profundo abismo. Una vez que el excursionista da ese único paso, el camino hacia la cima se ha ido. No importa cuánto intente escalar de nuevo desde ese punto, no puede llegar a la cima.

Los autores llaman a este único y desastroso paso un Cliff Token.

Cómo encontraron los acantilados

Anteriormente, los investigadores observaban grandes fragmentos del viaje (como oraciones completas) o esperaban hasta que el excursionista ya estuviera perdido para ver qué había salido mal. Este artículo utiliza una herramienta más precisa: un "trampolín estadístico".

Simulan al excursionista recorriendo el camino 64 veces diferentes desde cada palabra. Si, después de una palabra específica, la probabilidad de alcanzar la cima disminuye significamente (como caerse por un acantilado), marcan esa palabra como un "Cliff Token". Utilizan una prueba matemática especial (una prueba z) para asegurarse de que es una caída real y no solo un bamboleo aleatorio.

El gran descubrimiento: Una palabra puede arruinarlo todo

Los investigadores probaron esto en siete modelos de IA diferentes y tres evaluaciones de referencia (benchmarks) matemáticas. Encontraron algo sorprendente:

El detonante: En muchos intentos fallidos, hubo exactamente una palabra que causó que el modelo perdiera su camino.
La solución: Si eliminas ese "Cliff Token" y le pides al modelo que comience de nuevo desde la palabra anterior a él, el modelo casi siempre encuentra la respuesta correcta de nuevo (recuperándose el 100% de las veces en sus pruebas).
La trampa: Si obligas al modelo a mantener esa palabra errónea, incluso si le permites intentar 64 veces recuperarse, generalmente sigue fallando. Esa única palabra bloquea al modelo en un callejón sin salida.

Tres tipos de "acantilados"

Los investigadores clasifican estas palabras malas en tres categorías, como diferentes tipos de terreno peligroso:

El Acantilado Confiado (Determinista): El modelo está 100% seguro de que esta es la palabra correcta, pero en realidad es errónea. Es como un excursionista que pisa con confianza el vacío porque cree que hay un puente. Esto sucede porque el modelo tiene un hábito o sesgo profundo. Incluso si cambias a un modelo más grande y más inteligente, comete exactamente el mismo error.
El Acantilado Incierto (Incierto): El modelo está confundido. Está ante una bifurcación en el camino, no está seguro de qué dirección tomar, y elige el camino equivocado. Esto sucede porque el modelo carece de conocimiento específico. Un modelo más grande podría no cometer este error porque sabe más.
El Acantilado del Azar (Sampled-off): El modelo conoce el camino correcto, pero se distrae por un ruido aleatorio en su cerebro y elige una palabra extraña e improbable por accidente. Es como un excursionista tropezando con una piedra suelta. Esto es pura mala suerte.

Reparando al excursionista (Cliff-DPO)

Los autores no solo encontraron los acantilados; intentaron arreglarlos. Enseñaron a los modelos de IA específicamente cómo evitar estos "Cliff Tokens".

Lo que funcionó: Enseñar al modelo a evitar los acantilados Inciertos y de Azar hizo que el modelo fuera mucho mejor en matemáticas. Es como enseñarle al excursionista a mirar con más cuidado cuando está confundido o a ignorar las distracciones aleatorias.
Lo que no funcionó: Enseñar al modelo a evitar los acantilados Confiados no ayudó. Dado que estos son hábitos profundamente arraigados, simplemente decirle al modelo "no hagas eso" no fue suficiente para cambiar su naturaleza fundamental.

La conclusión

Este artículo muestra que los fallos de razonamiento matemático en la IA no siempre se deben a que el modelo sea "tonto" en general. A menudo, se trata de una sola palabra que actúa como una trampa. Al identificar y eliminar solo esa palabra, o al entrenar al modelo específicamente para evitar ese tipo de trampas, podemos mejorar significativamente qué tan bien estos sistemas de IA resuelven problemas.

El estudio se limita a problemas matemáticos y requiere mucha potencia de cómputo para encontrar estos "acantilados", pero ofrece una forma nueva y muy específica de entender y arreglar por qué la IA a veces se queda estancada.

Resumen Técnico: Cliff Tokens: Identificación de los Disparadores de Fallo de Token Único en el Razonamiento Matemático de LLM

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) demuestran una alta precisión agregada en tareas de razonamiento matemático, sin embargo, las trazas de razonamiento individuales para un mismo problema suelen divergir, donde algunas alcanzan la respuesta correcta y otras fallan. Los métodos de análisis de fallos existentes operan en granularidades gruesas (pasos, fragmentos, oraciones) o identifican tokens solo después de que el fallo ya ha ocurrido (por ejemplo, donde la probabilidad de éxito cae a cero). Crucialmente, el trabajo previo no ha identificado el token único preciso que dispara el cambio de un estado recuperable a un resultado incorrecto, ni ha distinguido los disparadores de fallo estadísticamente significativos del ruido de muestreo mediante umbrales adaptativos.

Metodología

1. Formalización del Cliff Token (Token de Acantilado)

Los autores introducen el cliff token, definido como la posición de token específica en una traza de razonamiento donde la probabilidad de alcanzar la respuesta correcta (potencial por token) cae significativamente.

Potencial por token ($pot$): Estimado mediante muestreo de despliegue (rollout sampling) ( $N=64$ ) desde una posición de token específica $t$ hasta el final de la traza. Representa $P(y = y^* | c_{\le t}, x)$ , donde $y^*$ es la respuesta de verdad fundamental (ground-truth).
Umbralización Adaptativa: Para distinguir los disparadores de fallo reales del ruido estocástico, los autores emplean una prueba z de dos proporciones de una sola cola con un nivel de confianza del 95%. Un token en la posición $t$ es un cliff token si la caída de potencial $\Delta_t = pot_{t-1} - pot_t$ satisface:
$\Delta_t > 0.1 + 1.645 \cdot SE_t$
donde $SE_t$ es el error estándar de las estimaciones de potencial. Este mecanismo adaptativo tiene en cuenta la varianza local, imponiendo criterios más estrictos en regiones de alta varianza en comparación con los enfoques de umbral fijo.

2. Taxonomía de los Cliffs

Basándose en la entropía del token ( $H_t$ ) y el estado de elección codiciosa (greedy choice status), los cliff tokens se categorizan en tres tipos distintos:

Deterministic Cliff (Acantilado Determinista): Un token codicioso con baja entropía ( $H_t < 0.0561$ nats, correspondiente a $p_{greedy} \ge 0.99$ ). El modelo muestrea el token de fallo con una certeza casi absoluta.
Uncertain Cliff (Acantilado de Incertidumbre): Un token codicioso con alta entropía ( $H_t \ge 0.0561$ ). El modelo selecciona el token de fallo a pesar de una incertidumbre local significativa.
Sampled-off Cliff (Acantilado de Muestreo Erróneo): Un token no codicioso con alta entropía ( $H_t \ge 0.0561$ ). El token de fallo es muestreado estocásticamente de candidatos de baja probabilidad.

3. Configuración Experimental

Modelos: Siete modelos ajustados por instrucciones de diversas escalas y familias (Qwen3-8B/4B/0.6B, Llama-3.1-8B, Llama-3.2-3B/1B, Gemma-3-4B).
Benchmarks: GSM1K, MATH500 y AIME 2025.
Intervención: Los autores analizan "Cliff-del" (re-muestreo desde el prefijo antes del primer cliff token) frente a "Cliff-keep" (re-muestreo desde el prefijo incluyendo el cliff token) para medir las tasas de recuperación.
Entrenamiento (Cliff-DPO): Se aplica una variante de Optimización de Preferencia Directa (DPO) específicamente en las posiciones de cliff, tratando al token no-cliff como "elegido" y al token de cliff como "rechazado".

Resultados Clave

1. Los Cliff Tokens como Disparadores de Fallo

Prevalencia: Los cliff tokens ocurren significativamente más de forma frecuente en trazas incorrectas que en las correctas en la mayoría de los modelos.
Recuperación: Eliminar el primer cliff token y re-muestrear (Cliff-del) restaura la tasa de éxito de la traza de razonamiento a pass@64 = 1.0 en todos los entornos evaluados. En contraste, retener el cliff token (Cliff-keep) limita la recuperación a 0.71–1.00, demostrando que el cliff token actúa como un disparador crítico de fallo que bloquea la traza en un camino incorrecto.

2. Características Probabilísticas de la Taxonomía

Deterministic Cliffs: Exhiben una masa de probabilidad cercana a 1.0. Son invariantes de escala; los mismos deterministic cliff tokens son seleccionados tanto por modelos pequeños (0.6B) como grandes (8B) dado el mismo prefijo, lo que sugiere sesgos compartidos a nivel de familia o priors de preentrenamiento.
Uncertain Cliffs: Muestran una distribución de masa de probabilidad amplia. Son específicos del modelo, reflejando brechas de conocimiento únicas en lugar de cuellos de botella de razonamiento compartidos.
Sampled-off Cliffs: Exhiben asimetría de escala. En transferencias entre modelos, las posiciones identificadas como sampled-off cliffs por modelos grandes suelen convertirse en candidatos de alta probabilidad para modelos más pequeños, y viceversa, lo que indica ruido de muestreo estocástico.

3. Eficacia del Entrenamiento Cliff-DPO

Optimización Dirigida: Entrenar en los subconjuntos de uncertain y sampled-off de los cliffs mejora significativamente el rendimiento de razonamiento en los benchmarks (hasta un aumento de precisión del +6.6% en GSM8K para la variante combinada).
Ineficacia de los Deterministic Cliffs: El entrenamiento en el subconjunto de deterministic cliffs produce una mejora insignificante o nula en los benchmarks de prueba (held-out), sugiriendo que estos tokens reflejan sesgos inherentes del modelo que son difíciles de corregir mediante la optimización de preferencia de un solo token.
Eficiencia: La variante Cliff-DPO de "uncertain + sampled-off" logra un rendimiento comparable o mejor que el cDPO de frase completa utilizando aproximadamente 177 veces menos posiciones de tokens que contribuyen a la pérdida.

Significado y Reivindicaciones

El artículo afirma proporcionar una lente a nivel de token para diagnosticar fallos de razonamiento, yendo más allá del análisis macroestructural para identificar el momento preciso en que un camino de razonamiento colapsa.

Valor Diagnóstico: El marco separa los fallos de razonamiento estadísticamente significativos del ruido de muestreo, validando que tokens únicos pueden actuar como disparadores deterministas para resultados incorrectos.
Señales Accionables: El estudio demuestra que no todos los puntos de fallo son iguales. Al categorizar los cliffs, los autores muestran que los uncertain y sampled-off cliffs proporcionan señales efectivas para la optimización de preferencia, mientras que los deterministic cliffs no lo hacen.
Eficiencia: Cliff-DPO demuestra que la supervisión a nivel de token en disparadores de fallo específicos es un método altamente eficiente para mejorar el razonamiento matemático, requiriendo significativamente menos actualizaciones de entrenamiento que la optimización de preferencia tradicional a nivel de traza o de frase.

Los autores señalan limitaciones, incluyendo el alto coste computacional de la estimación de potencial basada en despliegues (que requiere miles de horas de GPU) y la restricción actual del análisis al razonamiento matemático. Sugieren que el trabajo futuro debería centrarse en el desarrollo de predictores eficientes que no dependan de despliegues (non-rollout) para permitir intervenciones de decodificación en tiempo real.