Eliciting Numerical Predictive Distributions of LLMs Without Autoregression

Este trabajo demuestra que es posible recuperar las propiedades distribucionales y la incertidumbre numérica de las predicciones de los Modelos de Lenguaje Grandes (LLMs) directamente a partir de sus representaciones internas mediante sondas de regresión, ofreciendo así una alternativa eficiente y sin generación autoregresiva a los costosos métodos de muestreo.

Lo esencial

¡Claro que sí! Imagina que tienes a un genio muy inteligente (un Modelo de Lenguaje Grande o LLM) que es excelente escribiendo historias, pero cuando le pides que adivine un número futuro (como la temperatura de mañana o el precio de una acción), se comporta de una manera muy peculiar y costosa.

Aquí te explico la idea central de este paper como si fuera una historia:

🎭 El Problema: El Genio que "Habla" en Pasos

Imagina que le preguntas al genio: "¿Qué número saldrá en el próximo turno?".
Normalmente, el genio no te da el número de golpe. Tiene que "pensar" palabra por palabra (o más bien, token por token).

• Primero dice: "El número es..."
• Luego: "...un..."
• Luego: "...dos..."
• Luego: "...punto..."
• Luego: "...cinco..."

Para que el genio te diga un número completo, tiene que pasar por este proceso lento y repetitivo muchas veces. Si quieres saber qué tan seguro está el genio (su incertidumbre), tienes que pedirle que repita este proceso 100 veces para ver si siempre dice "2.5" o si a veces dice "2.4" y otras "2.6". Esto es como pedirle a un chef que cocine 100 platos idénticos solo para ver si la sal está bien puesta; cuesta mucho tiempo y recursos.

🔍 La Solución: El "Rayo X" del Cerebro

Los autores de este paper se preguntaron: "¿Es necesario esperar a que el genio escriba todo el número para saber qué va a decir?".

Su respuesta es un rotundo NO.

Descubrieron que, antes de que el genio empiece a escribir la primera palabra, su "cerebro" (sus representaciones internas o hidden states) ya tiene toda la información necesaria. Es como si el genio ya hubiera decidido el número en su mente, pero solo se ve obligado a escribirlo paso a paso por reglas antiguas.

🛠️ La Herramienta: El "Detective de Números"

Para probar esto, crearon un pequeño detective llamado "Sonda" (o probe).

1. El Truco: En lugar de esperar a que el genio escriba el número, el detective mira directamente la "mente" del genio justo después de leer los datos.
2. La Magia (Descomposición): Los números son difíciles porque pueden ser muy pequeños (0.001) o gigantes (1,000,000). El detective usa un truco inteligente:
   • Primero, adivina el tamaño del número (¿es de miles? ¿de millones?). Esto es como adivinar si el regalo es una caja de zapatos o un mueble.
   • Segundo, adivina el valor exacto dentro de ese tamaño.
   • Al separar estas dos tareas, el detective puede acertar números de cualquier tamaño sin confundirse.

🎲 ¿Y la Incertidumbre? (El "Miedo" del Genio)

Lo más impresionante es que el detective no solo adivina el número, sino que también puede decirte qué tan seguro está el genio.

• Si el genio está muy seguro, el detective dirá: "Va a salir un 5, y estoy 99% seguro".
• Si el genio está dudando, el detective dirá: "Podría ser un 4 o un 6, hay mucha variación".

Antes, para saber esto, tenías que hacerle al genio 100 preguntas (muestreo). Ahora, el detective mira la mente una sola vez y te da el rango de seguridad. ¡Es como leer la intención de alguien en su cara en lugar de hacerle 100 preguntas para ver si miente!

🚀 ¿Por qué es esto un superpoder?

1. Velocidad: En lugar de esperar 10 segundos para que el genio "escriba" el número 100 veces, el detective lo hace en una fracción de segundo.
2. Ahorro: Ahorra una cantidad enorme de energía y dinero en computación.
3. Confianza: Nos permite usar estos modelos inteligentes en situaciones donde necesitamos saber el riesgo (como en medicina o finanzas) sin tener que esperar horas.

En resumen

Este paper nos dice que los modelos de IA ya "saben" los números antes de hablarlos. Solo necesitamos aprender a leer sus pensamientos internos (sus representaciones ocultas) en lugar de esperar a que escriban la respuesta letra por letra. Es como pasar de esperar a que un cartero entregue 100 cartas para entender el mensaje, a simplemente leer el sobre y saber exactamente qué hay dentro.

¡Es una forma más rápida, barata y eficiente de usar la inteligencia artificial para predecir el futuro! 🔮✨

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ELICITING NUMERICAL PREDICTIVE DISTRIBUTIONS OF LLMS WITHOUT AUTOREGRESSION", publicado en ICLR 2026.

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) han demostrado ser competentes en tareas de regresión (como pronósticos de series temporales y predicción tabular) gracias a su capacidad de aprendizaje en contexto (in-context learning). Sin embargo, su mecanismo de generación estándar presenta limitaciones críticas para la predicción numérica:

• Generación Autoregresiva Costosa: Los números reales suelen abarcar múltiples tokens. Para generar una predicción, el modelo debe realizar múltiples pasadas hacia adelante (forward passes) de forma secuencial.
• Ineficiencia en la Incertidumbre: Para cuantificar la incertidumbre (obtener distribuciones predictivas), se requiere muestreo repetido (ej. 100 muestras por entrada), lo que multiplica el costo computacional y el tiempo de inferencia.
• La Pregunta Central: ¿Es posible recuperar la distribución predictiva completa del LLM (incluyendo estadísticas como media, mediana, cuantiles y la incertidumbre asociada) directamente desde sus representaciones internas, sin necesidad de generar tokens de forma autoregresiva?

2. Metodología Propuesta

Los autores proponen el uso de modelos de sondeo (probing models) entrenados para predecir funcionales estadísticos de la distribución de salida del LLM directamente a partir de sus estados ocultos (hidden states).

A. Representación de Entrada

• Se utiliza una serie temporal $x$ serializada como texto.
• Se extraen los estados ocultos del último token de múltiples capas del transformador (en los experimentos principales, las últimas 8 capas de Llama-2-7B).
• Estos vectores se concatenan para formar una representación enriquecida $e$.

B. Modelo de Sondeo Factorizado por Magnitud

El desafío principal es la gran variabilidad en el orden de magnitud de los números objetivo (desde $10^{-3}$ hasta $10^4$). Una regresión estándar falla debido a gradientes inestables. Para resolverlo, se introduce un modelo de dos componentes:

1. Clasificador de Magnitud ($f_{order}$): Un clasificador que predice el orden de magnitud ($m = \lfloor \log_{10}(|y|) \rfloor$) del número objetivo.
2. Regresor de Valor Escalado ($f_{val}$): Un regresor que predice el valor del objetivo escalado por la magnitud predicha.
   • La predicción final se calcula como $\hat{y} = r_k \cdot 10^{m_k}$, donde $r_k$ es la salida del regresor condicionada a la clase de magnitud $k$.
   • Esto permite que el modelo aprenda patrones invariantes a la escala.

C. Entrenamiento y Objetivos

Se entrenan sondas para recuperar diferentes estadísticas de la distribución $p_{LLM}(\cdot|x)$:

• Punto de Predicción: Se entrenan sondas para predecir la predicción "greedy" (máxima probabilidad), la media y la mediana.
• Incertidumbre (Sección 3): Se utiliza regresión de cuantiles con la función de pérdida pinball para predecir múltiples cuantiles (ej. 2.5%, 50%, 97.5%). Esto permite reconstruir la forma de la distribución y calcular intervalos de confianza sin muestreo.
• Estrategia de Entrenamiento: Se emplea un entrenamiento en dos fases (primero el clasificador, luego el regresor) para las predicciones puntuales, y entrenamiento conjunto para los cuantiles.

3. Contribuciones Clave

1. Evidencia de Representación Interna: Demuestran que los LLMs codifican información detallada sobre sus predicciones numéricas (incluyendo el orden de magnitud y la incertidumbre) en sus estados ocultos antes de iniciar la generación autoregresiva de tokens.
2. Arquitectura de Sondeo Novel: Presentan un modelo de regresión factorizado por magnitud que supera significativamente a los enfoques de MLP estándar o log-escalado, logrando estabilidad en rangos numéricos amplios.
3. Método de Inferencia Ligero: Proponen una alternativa viable al muestreo autoregresivo repetido, permitiendo obtener distribuciones predictivas completas con una sola pasada de inferencia del LLM.

4. Resultados Experimentales

Precisión de Predicción Puntual

• Las sondas logran recuperar la media, mediana y predicción greedy con alta precisión.
• Correlación: Se observa una fuerte correlación (Pearson $R \approx 0.98$ para media/mediana) entre los valores predichos por la sonda y los valores reales de la distribución del LLM.
• Error: El error cuadrático medio (MSE) de la sonda es comparable al error obtenido al muestrear directamente del LLM, superando ampliamente a líneas base simples (como usar el último valor de la serie).

Recuperación de Incertidumbre

• Intervalos de Confianza: Los modelos de regresión de cuantiles producen intervalos de confianza bien calibrados. Por ejemplo, el 95% de las muestras del LLM caen dentro del intervalo predicho por la sonda (cobertura empírica $\approx 95.5\%$).
• Rango Intercuartílico (IQR): Existe una fuerte correlación entre el IQR predicho y el IQR empírico obtenido por muestreo, demostrando que la sonda captura la dispersión de la distribución.

Eficiencia Computacional

• Ahorro de Costos: La inferencia con la sonda es drásticamente más rápida que el muestreo autoregresivo.
  • Generar una sola muestra del LLM toma ~1.6s.
  • La inferencia completa de la sonda (incluyendo la extracción de estados ocultos) toma ~0.034s.
  • La sonda es aproximadamente 47 veces más rápida que generar una sola muestra, y evita la necesidad de generar decenas de muestras para estimar la incertidumbre.
• Eficiencia de Muestreo: La sonda supera en precisión al promedio de 20-25 muestras del LLM, actuando como un sustituto computacionalmente eficiente.

Generalización

• Longitudes de Contexto: Los modelos generalizan razonablemente bien a longitudes de secuencia no vistas durante el entrenamiento, aunque el rendimiento decae ligeramente fuera del rango de entrenamiento.
• Datos del Mundo Real: Al entrenar en datos sintéticos y probar en series temporales reales (Darts, Monash), las sondas mantienen una cobertura de intervalos de confianza decente, aunque con cierta degradación debido a cambios de distribución y escalas extremas.

5. Significado e Impacto

Este trabajo desafía la noción de que la "razonamiento" numérico en los LLMs ocurre únicamente durante el proceso de decodificación token a token.

• Interpretabilidad: Sugiere que gran parte del "razonamiento" numérico y la planificación de la incertidumbre ya están presentes en las representaciones internas del modelo antes de la generación.
• Aplicaciones Prácticas: Abre la puerta a la implementación de LLMs en tareas de regresión donde la eficiencia computacional y la estimación de incertidumbre son críticas (ej. control de sistemas en tiempo real, toma de decisiones seguras), eliminando la sobrecarga del muestreo repetido.
• Futuro: Plantea la posibilidad de desarrollar modelos de sondeo universales que puedan aplicarse "fuera de la caja" a diferentes dominios y LLMs, transformando cómo se despliegan estos modelos para tareas numéricas.

En resumen, el artículo demuestra que es posible extraer distribuciones predictivas numéricas completas y calibradas de los estados ocultos de un LLM, ofreciendo una alternativa rápida, barata y precisa a la generación autoregresiva tradicional.