💬 NLP

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

Este artículo demuestra que es posible predecir el éxito de un modelo de lenguaje grande antes de generar una respuesta analizando sus activaciones internas, lo que permite optimizar la inferencia y reducir los costes hasta un 70% mediante un enrutamiento inteligente de consultas sin depender de la intuición humana sobre la dificultad de los problemas.

Autores originales: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

Publicado 2026-03-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un equipo de detectives de inteligencia artificial (los modelos de lenguaje o LLMs) y les das un montón de casos difíciles: problemas de matemáticas, códigos de programación, etc.

El problema es que algunos casos son tan complicados que los detectives necesitan mucho tiempo y energía para resolverlos, mientras que otros son fáciles y los resuelven en un segundo. Si les pides a todos los detectives que usen su "superpoder de razonamiento profundo" para cada caso, gastarás una fortuna en electricidad y tiempo, incluso para los casos fáciles.

La pregunta del artículo es: ¿Podemos saber si un detective va a fallar o tener éxito antes de que empiece a escribir su solución?

Aquí está la explicación sencilla de lo que descubrieron:

1. El "Secreto" antes de hablar

Los investigadores descubrieron que, justo antes de que la IA empiece a escribir la primera palabra de su respuesta, su cerebro digital (sus "activaciones internas") ya contiene un secreto.

La analogía: Imagina que un detective está a punto de resolver un caso. Antes de hablar, su cara muestra una micro-expresión de duda o confianza. Los investigadores crearon un "lector de mentes" (llamado sonda lineal) que puede leer esa micro-expresión en el cerebro de la IA.
El hallazgo: Este lector puede predecir con mucha precisión si la IA va a acertar o fallar, solo mirando esos pensamientos iniciales, sin necesidad de esperar a que termine de escribir la respuesta.

2. Dos tipos de "Dificultad": Humana vs. Robot

Aquí viene la parte más curiosa. El papel descubre que la IA y los humanos tenemos dos brújulas de dificultad diferentes.

Dificultad Humana: Es lo que a nosotros nos parece difícil (ej. "¡Esto es muy largo!").
Dificultad del Robot: Es lo que a la IA le cuesta realmente resolver.

La analogía de la montaña:
Imagina que hay una montaña.

Para un humano, la montaña parece difícil porque es alta y tiene nieve (dificultad humana).
Para un robot con alas (una IA avanzada), la montaña es fácil de volar, pero su "cerebro" sigue pensando: "Esta montaña es difícil porque los humanos la encuentran difícil".
El problema: A medida que la IA se vuelve más inteligente y usa más "razonamiento profundo" (piensa más antes de hablar), su brújula interna se desalinea con la nuestra. La IA empieza a gastar más energía en problemas que ella ya sabe resolver, solo porque nosotros los vemos difíciles.

3. El "GPS" para ahorrar dinero (Enrutamiento)

¿Para qué sirve saber esto? Para crear un sistema de enrutamiento inteligente.

Imagina que tienes un servicio de taxis con dos tipos de coches:

Coche pequeño y barato: Rápido, pero solo sirve para trayectos cortos.
Coche de lujo y caro: Lento y costoso, pero resuelve cualquier camino complicado.

Antes, enviábamos todos los viajes al coche de lujo por si acaso, desperdiciando dinero.
Ahora, con este nuevo sistema:

Antes de enviar el viaje, el "lector de mentes" mira el problema.
Si dice: "Esto es fácil para el coche pequeño", lo envía ahí (¡Ahorro enorme!).
Si dice: "Esto es muy difícil, el pequeño va a fallar", lo envía al coche de lujo.

El resultado:

Lograron la misma precisión (resolvieron igual de bien los problemas) que usando solo el coche de lujo.
Pero ahorraron hasta un 70% de dinero en computación.
En algunos casos, incluso resolvieron mejor que el coche de lujo solo, porque enviaron los problemas difíciles exactamente al coche que podía resolverlos.

4. La advertencia: Cuanto más piensan, más confuso se vuelve

Hay un detalle importante. Cuando la IA usa un "razonamiento extendido" (piensa mucho, escribe cadenas largas de pensamiento), el "lector de mentes" se vuelve un poco menos preciso.

La analogía: Es como si el detective, al pensar demasiado en voz alta, empezara a confundirse con sus propios pensamientos. Su cara (activaciones iniciales) ya no muestra tan claramente si va a fallar, porque se ha distraído pensando en cosas que a los humanos les parecen difíciles, aunque para el detective sean fáciles.

En resumen

Este papel nos enseña que:

Las IAs saben si van a fallar antes de empezar a hablar.
Su forma de ver la dificultad es distinta a la nuestra (a veces se complican la vida pensando que algo es difícil solo porque nosotros lo vemos así).
Si usamos esta información para dirigir las preguntas a la IA correcta (barata o cara), podemos ahorrar muchísimo dinero y tiempo sin perder calidad.

Es como tener un filtro de calidad que nos dice: "No gastes dinero en un Ferrari para ir a la tienda de la esquina; usa la bicicleta. Pero si vas a cruzar el océano, sí, usa el Ferrari".

1. El Problema

La ejecución de Grandes Modelos de Lenguaje (LLM) con razonamiento extendido (como Chain-of-Thought) en cada problema es costosa en términos computacionales. Sin embargo, determinar qué entradas requieren realmente más recursos de cálculo sigue siendo un desafío.

Desafío principal: Estimar con precisión la probabilidad de éxito de un modelo para una consulta dada antes de generar cualquier salida.
Limitación actual: Los métodos existentes para estimar el éxito (como múltiples rollouts o self-assessment explícito) requieren generación adicional, lo que anula el ahorro de costos que se busca lograr mediante el enrutamiento de consultas (model routing).
Pregunta de investigación: ¿Pueden predecir los LLMs su propio éxito basándose únicamente en sus representaciones internas (activaciones) antes de comenzar la generación?

2. Metodología

Los autores proponen entrenar sondas lineales (linear probes) sobre las activaciones pre-generación para predecir el éxito bajo diferentes políticas de decodificación.

Datos y Activaciones:
- Se utilizan activaciones de la corriente residual (pre-normalización de capa) extraídas en la posición final de la plantilla de instrucción (justo antes de que comience la generación).
- Se evalúa en dominios de matemáticas (MATH, GSM8K, AIME, E2H-AMC) y codificación (LiveCodeBench).
Comparación de Dificultad:
- Utilizan el conjunto de datos E2H-AMC, que proporciona tanto etiquetas de dificultad humana (basadas en Teoría de Respuesta al Ítem - IRT) como rendimiento del modelo en las mismas preguntas.
- Se entrenan tres tipos de sondas:
  1. Dificultad Humana: Regresión para predecir la puntuación IRT humana.
  2. Tasa de Éxito Esperada: Regresión para predecir la probabilidad de éxito promedio sobre múltiples rollouts estocásticos ( $K=50$ ).
  3. Éxito Binario: Clasificación para predecir el éxito bajo políticas fijas (decodificación greedy o votación mayoritaria Maj@K).
Enrutamiento (Routing):
- Se implementan dos estrategias basadas en las probabilidades de éxito estimadas por las sondas ( $\hat{p}$ $\overset{p}{^}$ ):
  1. Enrutamiento en Cascada: Si la probabilidad de éxito de un modelo base es baja (por debajo de un umbral $\tau$ ), se envía la consulta a un modelo más potente.
  2. Enrutamiento Basado en Utilidad: Se selecciona el modelo que maximiza la utilidad definida como $U = \hat{p} - \lambda \cdot \text{costo}$ , donde $\lambda$ pondera el costo frente al éxito.

3. Contribuciones Clave

Dificultad Humana vs. Dificultad del Modelo:
- Se demuestra que los LLMs codifican dos señales distintas en sus activaciones pre-generación.
- Las sondas pueden extraer tanto la dificultad humana (alta correlación, $\rho \approx 0.83-0.87$ ) como la dificultad específica del modelo ( $\rho \approx 0.40-0.64$ ).
- Hallazgo crucial: A medida que los modelos resuelven problemas más difíciles mediante razonamiento extendido, sus representaciones internas de dificultad divergen de los juicios humanos. La dificultad derivada del modelo es un predictor más fiable de su propio rendimiento que la dificultad humana.
Predicción de Rendimiento Robusta:
- Las sondas logran una discriminación fuerte (AUROC > 0.7) para predecir el éxito binario bajo políticas fijas (como Maj@5 o greedy).
- Superan significativamente a las características superficiales como la longitud de la pregunta o TF-IDF.
Eficiencia en el Enrutamiento:
- El uso de sondas para guiar el enrutamiento permite igualar el rendimiento de los modelos de mayor capacidad con una reducción de costos de inferencia de hasta un 70% en el conjunto de datos MATH.
- Se demuestra que la fiabilidad de la sonda, y no la sofisticación de la política de enrutamiento, es el cuello de botella principal.

4. Resultados Principales

Accesibilidad Lineal y Razonamiento Extendido:
- Existe una correlación negativa entre la capacidad de razonamiento y la accesibilidad lineal de la señal de dificultad.
- En modelos con razonamiento extendido (ej. GPT-OSS-20B), al aumentar el presupuesto de razonamiento (de "bajo" a "alto"), el rendimiento de la sonda para predecir el éxito del modelo disminuye (AUROC cae de 0.78 a 0.64), a pesar de que la precisión del modelo mejora (de 86.6% a 92.0%).
- Análisis de longitud: Se observa que la longitud de la Chain-of-Thought se correlaciona cada vez más con la dificultad humana y menos con la incertidumbre del modelo. Los modelos gastan más tokens en problemas que los humanos encuentran difíciles, incluso cuando el modelo tiene alta probabilidad de éxito, lo que "enmascara" la señal de dificultad interna pre-generación.
Rendimiento en Enrutamiento:
- MATH: El enrutamiento basado en utilidades iguala la precisión del modelo más potente (GPT-OSS-20B-high) reduciendo el costo en un 70%.
- AIME 2025: Se logra una reducción de costos del 37% manteniendo la precisión máxima.
- GSM8K: En benchmarks saturados donde los modelos ya tienen alto rendimiento, el enrutador identifica eficientemente modelos más baratos (ej. Qwen-7B) evitando modelos costosos innecesarios, demostrando optimización consciente del costo.
Dominio de Código:
- En LiveCodeBench, las sondas muestran un rendimiento excepcionalmente alto (AUROC 0.81–0.91) para modelos como Qwen2.5-Coder, sugiriendo que la accesibilidad de la señal es una propiedad de la familia del modelo más que del dominio específico.

5. Significado e Implicaciones

Eficiencia Práctica: Este trabajo demuestra que es posible lograr ganancias de eficiencia prácticas en la inferencia de LLMs utilizando representaciones internas, incluso cuando estas divergen de la intuición humana sobre la dificultad.
Naturaleza de la Dificultad: Revela que la "dificultad" no es un concepto absoluto. Los modelos desarrollan una noción de dificultad relativa a sus propias capacidades y políticas de inferencia, la cual cambia dinámicamente con el razonamiento extendido.
Límites del Razonamiento Extendido: El estudio advierte que, aunque el razonamiento extendido mejora la precisión, puede hacer que las señales de dificultad sean menos accesibles linealmente antes de la generación. Esto plantea un desafío para los sistemas de inferencia adaptativa que dependen de estimaciones previas a la generación.
Futuro: Sugiere que para cerrar la brecha con el rendimiento óptimo (oracle), la investigación futura debe centrarse en mejorar la fiabilidad de las estimaciones de dificultad (posiblemente mediante sondas no lineales o en múltiples posiciones de generación) más que en desarrollar políticas de enrutamiento más complejas.

En resumen, el paper establece que los LLMs "saben" cuándo van a fallar antes de generar la respuesta, y que explotar esta señal interna permite construir sistemas de inferencia mucho más eficientes y económicos, aunque esta señal se vuelve más difícil de extraer a medida que los modelos se vuelven más capaces y utilizan razonamiento más profundo.