What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

1. El Problema

En dominios críticos como la medicina y las finanzas, los datos etiquetados a gran escala son costosos y a menudo indisponibles. Esto obliga a entrenar modelos en conjuntos de datos pequeños y no representativos, lo que provoca una mala generalización cuando se enfrentan a poblaciones del mundo real que difieren de la distribución de entrenamiento (desplazamiento de covariables o Out-of-Distribution - OOD).

Aunque los Modelos de Lenguaje Grande (LLMs) poseen un vasto conocimiento enciclopédico sobre estos dominios, los métodos existentes para aprovechar este conocimiento sufren de limitaciones:

• Métodos generativos: Técnicas como AutoElicit o LLMProcesses dependen de la generación de texto o muestras estocásticas, lo que introduce variabilidad entre ejecuciones y ruido.
• Priors no informativos: El uso de priores estándar (como $N(0,1)$) no aprovecha el conocimiento de dominio disponible.
• Brecha de generalización: Los modelos entrenados en datos OOD suelen fallar estrepitosamente, y pocos trabajos han explorado sistemáticamente cómo extraer priores estructurados directamente de la arquitectura interna de los LLMs para tareas tabulares bajo desplazamiento de distribución.

2. Metodología: LoID (Logit-Informed Distributions)

Los autores proponen LoID, un marco determinista para extraer distribuciones priores informativas para regresión logística y lineal bayesiana, accediendo directamente a las logits a nivel de token de un LLM, en lugar de generar texto.

Flujo de Trabajo:

1. Diseño de Prompts Semánticos: Para cada característica ($f_j$) del conjunto de datos, se construyen pares de oraciones que expresan afirmaciones semánticas opuestas sobre su efecto en la variable objetivo (ej. "El impacto de $f_j$ en $t$ es positivo" vs. "... es negativo").
2. Extracción de Logits: En lugar de generar la respuesta, se consulta al LLM para obtener las probabilidades de los tokens "positivo" y "negativo" como siguiente token.
3. Cálculo de la Preferencia (Logit Preference Score): Se calcula la diferencia de logit entre los tokens positivos y negativos. Esta métrica cuantifica la creencia direccional del modelo sobre la relación característica-objetivo.
   $$\text{logit}_j(p_i) = \log\left(\frac{P(\text{positivo})}{P(\text{negativo})}\right)$$
4. Construcción del Prior:
   • Media ($\mu_j$): Se promedian las puntuaciones de preferencia de logit a través de múltiples plantillas de oraciones paraparáfrasis. Esto representa la creencia central del LLM.
   • Desviación Estándar ($\sigma_j$): Se calcula la desviación estándar de las puntuaciones de logit entre las diferentes plantillas. Una alta varianza indica que el LLM es inconsistente en su creencia (alta incertidumbre epistémica), lo que se traduce en un prior más difuso.
5. Inferencia Bayesiana: Estos priores gaussianos ($\beta_j \sim N(\mu_j, \sigma_j^2)$) se integran en modelos de regresión bayesiana. La inferencia posterior se realiza mediante una aproximación de Laplace (sin necesidad de MCMC costoso ni fine-tuning).

3. Contribuciones Clave

• Extracción Determinista de Priors: LoID es el primer método que extrae priores bayesianos directamente de las logits de nivel de token de los LLMs, eliminando la variabilidad inherente a la generación de texto y el muestreo de prompts.
• Evaluación Exhaustiva en OOD: Se evalúa en 15 conjuntos de datos tabulares reales (14 públicos y 1 médico privado) bajo configuraciones sintéticas de desplazamiento de distribución.
• Comparación Rigurosa: Se compara contra priores no informativos, métodos generativos (AutoElicit, LLMProcesses) y un límite superior (Oracle) entrenado en datos in-distribution (IID).
• Análisis de Fallos y Éxitos: Identifica cuándo el conocimiento del LLM es transferible (relaciones semánticas estables) y cuándo es perjudicial (patrones contextuales o específicos del conjunto de datos).

4. Resultados Experimentales

Los experimentos demuestran que LoID mejora significativamente la generalización OOD en la mayoría de los casos:

• Rendimiento General: LoID recupera en promedio el 50% de la brecha de rendimiento perdida debido al desplazamiento de distribución, superando a los modelos entrenados solo con datos OOD.
• Casos de Éxito (Dominios Estables):
  • Funciona excepcionalmente bien en tareas con relaciones semánticas estables y causalmente claras, como Ingresos de Adultos (recupera el 83.8% de la brecha), Resistencia del Concreto (93.9%) y enfermedades médicas con marcadores clínicos establecidos (Diabetes, Insuficiencia Renal).
  • En estos casos, el conocimiento del mundo del LLM captura mecanismos causales que permanecen válidos incluso cuando los datos de entrenamiento son limitados o sesgados.
• Casos de Fallo (Patrones Contextuales):
  • El rendimiento disminuye o es negativo en tareas donde las relaciones son altamente contextuales, conductuales o específicas del conjunto de datos (ej. Marketing Bancario, Alquiler de Bicicletas, Central de Ciclo Combinado).
  • En estos casos, los priores del LLM pueden ser "demasiado seguros pero incorrectos" (ej. generalizaciones termodinámicas que no aplican a una calibración específica de una planta) o simplemente no informativos, introduciendo sesgo en lugar de regularización.
• Comparación con Baselines:
  • Supera a LLMProcesses (predicción directa) en 12 de 14 datasets, demostrando que extraer priores es más robusto que intentar predecir resultados directamente con prompts.
  • Supera a AutoElicit en 12 de 14 datasets, mostrando que la extracción basada en logits es más calibrada y menos variable que la elicitation generativa libre.

5. Significado e Impacto

Este trabajo es fundamental porque:

1. Puente entre LLMs y Estadística Clásica: Proporciona un mecanismo eficiente y determinista para inyectar conocimiento de dominio de LLMs en modelos estadísticos tradicionales (regresión bayesiana), mejorando su robustez sin necesidad de reentrenar el LLM ni usar grandes cantidades de datos.
2. Solución a la Escasez de Datos: Ofrece una vía práctica para mejorar modelos en dominios críticos (salud, finanzas) donde los datos son escasos y los desplazamientos de distribución son comunes.
3. Eficiencia Computacional: Al evitar la generación de texto y el muestreo iterativo, LoID es significativamente más rápido (aprox. 10x) que los métodos de elicitation generativa.
4. Conciencia de Limitaciones: El estudio aclara que el conocimiento de los LLMs no es una panacea; es altamente efectivo para relaciones causales universales pero puede fallar en patrones locales o conductuales, guiando a los investigadores sobre cuándo aplicar estas técnicas.

En resumen, LoID demuestra que "lo que los LLMs saben" (sus distribuciones internas de probabilidad) es una fuente valiosa y subutilizada de conocimiento para regularizar modelos estadísticos en escenarios de datos escasos y distribuciones cambiantes.