🤖 machine learning

Amortizing intractable inference in large language models

Este artículo propone el uso de GFlowNets para amortizar la inferencia intratable en modelos de lenguaje de gran tamaño, permitiéndoles muestrear de distribuciones posteriores complejas para tareas como la generación con restricciones y el razonamiento de cadena de pensamiento como una alternativa eficiente en datos al entrenamiento tradicional de máxima verosimilitud o de maximización de recompensa.

Autores originales: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Publicado 2026-09-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son vastas bibliotecas de conocimiento humano, comprimidas en redes digitales que predicen la siguiente palabra en una oración basándose en lo que hubo antes. Están entrenados para ser excelentes continuando una historia o respondiendo una pregunta cuando se les da un punto de partida, un proceso que fluye naturalmente de izquierda a derecha. Sin embargo, muchas de las tareas más interesantes que queremos que estos modelos realicen requieren pensar en reversa o completar el medio de una historia. Imagine que se le entrega el principio y el final de un relato y se le pide que invente el medio, o que se le pida explicar el razonamiento detrás de una respuesta específica. En estos escenarios, el modelo no puede simplemente adivinar la siguiente palabra; debe buscar a través de un paisaje masivo y complejo de posibilidades para encontrar el camino específico que conecte el inicio con el final. Este es un problema matemático difícil porque el número de posibles caminos es tan enorme que comprobarlos uno por uno es imposible, y los métodos estándar para navegar ese paisaje a menudo se quedan estancados en solo una o dos rutas comunes, perdiendo la rica variedad de soluciones válidas que existen.

Investigadores del Instituto de IA Mila – Quebec y la Universidad de Oxford han desarrollado una nueva forma de enseñar a estos modelos cómo navegar ese complejo paisaje. En lugar de entrenar al modelo para simplemente maximizar una puntuación para la "mejor" respuesta, lo que a menudo conduce a un pensamiento repetitivo y estrecho, utilizaron un método llamado inferencia amortizada. Este enfoque trata el problema como una búsqueda de un conjunto diverso de caminos correctos en lugar de uno solo perfecto. Para lograr esto, emplearon una técnica conocida como red de flujo generativo, que actúa como una guía que aprende a muestrear de todo el rango de soluciones posibles, asegurando que el modelo explore diferentes cadenas de razonamiento válidas en lugar de colapsar en un único patrón sobreutilizado.

El equipo demostró esto ajustando modelos de lenguaje extensos para resolver problemas que requieren un razonamiento de múltiples pasos, como cálculos aritméticos o clasificar si la reseña de una película expresa una opinión o un hecho. En un experimento, pidieron al modelo que completara la oración intermedia faltante de una historia corta, dado el principio y el final. Los métodos estándar producían a menudo oraciones que eran gramaticalmente correctas pero que no encajaban con el flujo narrativo. El nuevo método, sin embargo, generó con éxito oraciones intermedias que vinculaban el inicio y el fin de manera coherente, mostrando una capacidad mucho mayor para comprender el contexto completo. En otra prueba que involucraba problemas matemáticos simples, el modelo fue equipado con una herramienta de calculadora y se le pidió que desglosara el cálculo en pasos. Mientras que otros métodos de entrenamiento causaban que el modelo repitiera números o fallara al usar la herramienta correctamente, el nuevo enfoque enseñó al modelo a planificar sus pasos cuidadosamente, lo que condujo a una mejora dramática en la precisión, especialmente en problemas que nunca había visto antes.

Los resultados sugieren que este método es particularmente poderoso cuando los datos escasean. En una prueba con solo diez ejemplos de reseñas de películas para aprender, el nuevo método logró una precisión significativamente mayor que las técnicas de entrenamiento estándar, y continuó superándolas incluso con cincuenta ejemplos. Los investigadores encontraron que al fomentar que el modelo muestree una amplia variedad de caminos de razonamiento y luego combine sus conclusiones, el sistema se volvía más robusto y confiable. Esta es una distinción crucial porque significa que el modelo no solo está memorizando una única forma de resolver un problema, sino que está aprendiendo la estructura subyacente de cómo razonar a través de él. El estudio indica que, al cambiar el objetivo de encontrar la respuesta única más probable a explorar la plena diversidad de respuestas correctas, podemos hacer que estas poderosas herramientas sean más flexibles y mejores para tareas de razonamiento complejo.

El trabajo también destaca una limitación en cómo se entrenan los modelos actuales. Cuando se presiona a los modelos para maximizar una recompensa, tienden a encontrar atajos, como repetir la misma frase o ignorar la lógica real de un problema, solo para obtener una puntuación alta. Los investigadores demostraron que su método evita esta trampa al igualar la distribución completa de las soluciones posibles, asegurando que el modelo no colapse en un único y defectuoso modo de pensamiento. Este enfoque permite que el modelo generalice mejor ante nuevas situaciones, como resolver problemas aritméticos con más números de los que fue entrenado, donde otros métodos fallaron. Los hallazgos ofrecen un camino prometedor para hacer que la inteligencia artificial sea más capaz de un razonamiento genuino, yendo más allá del simple reconocimiento de patrones hacia una comprensión más matizada de cómo construir argumentos y resolver problemas paso a paso.

Resumen Técnico: Amortización de la Inferencia Intratable en Grandes Modelos de Lenguaje

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) autorregresivos comprimen el conocimiento en distribuciones condicionales de siguiente token, lo que limita la inferencia tratable al muestreo de principio a fin condicionado por un prefijo. Sin embargo, muchas tareas críticas —como la continuación de secuencias, el relleno de texto (infilling), la generación con restricciones y el razonamiento de cadena de pensamiento (chain-of-thought)— requieren el muestreo de distribuciones posteriores intratables.

Específicamente, tareas como el relleno (generar un segmento intermedio $Z$ dado un inicio $X$ y un final $Y$ ) o el razonamiento (encontrar una cadena de pensamiento latente $Z$ que conduzca a una respuesta $Y$ dado un prompt $X$ ) implican computar la posterior $p(Z|X, Y)$ . Si bien la verosimilitud conjunta $p_{LM}(XZY)$ es fácil de evaluar, las distribuciones condicionales requeridas para muestrear $Z$ token por token a partir de la posterior son intratables.

Los enfoques existentes enfrentan limitaciones significativas:

Cadenas de Markov Monte Carlo (MCMC): Es difícil diseñar distribuciones de propuesta para datos lingüísticos multimodales y a menudo son prohibitivamente lentos para nuevos inputs.
Aprendizaje por Refuerzo (RL) / Optimización de Políticas (ej. PPO): Estos métodos maximizan recompensas pero tienden al colapso hacia un pequeño número de modos, fallando en capturar la diversidad completa de la distribución objetivo. Esto conduce a "muestreadores sobreoptimizados" cuando la función de recompensa está mal especificada.
Ajuste Fino Supervisado (SFT): Requiere acceso a muestras de la distribución objetivo, las cuales generalmente no están disponibles para problemas intratables.

Metodología

Los autores proponen el uso de inferencia bayesiana amortizada mediante Redes de Flujo Generativo (GFlowNets) para entrenar a los LLMs a muestrear de estas posteriores intratables.

Marco Central

El enfoque trata el problema como un modelo de variable latente donde un input $X$ genera un output $Y$ a través de una variable latente $Z$ (por ejemplo, una cadena de razonamiento o un texto rellenado). El objetivo es entrenar una política $q_{GFN}(Z|X, [Y])$ para muestrear de la posterior $p_{LM}(Z|X, Y) \propto p_{LM}(XZY)$ .

Objetivos de GFlowNet: El método utiliza GFlowNets, una clase de algoritmos de aprendizaje por refuerzo que buscan la diversidad. A diferencia del RL estándar que maximiza la recompensa esperada, las GFlowNets entrenan una política para muestrear objetos con una probabilidad proporcional a una función de recompensa dada $R(Z)$ .
Definición de Recompensa: La recompensa se define como la verosimilitud conjunta asignada por el LLM base: $R(Z) = p_{LM}(XZY)$ . Esto establece efectivamente la distribución objetivo como la posterior bayesiana.
Procedimiento de Entrenamiento:
- Inicialización: La política de la GFlowNet se inicializa como una copia de un LLM pre-entrenado (a menudo ajustado con LoRA para mayor eficiencia).
- Objetivo de Aprendizaje: Los autores emplean un objetivo de Balance de Subtrayectorias (SubTB) modificado. Este objetivo asegura que la probabilidad de generar una secuencia completa sea proporcional a su recompensa, incluso cuando las trayectorias pueden terminar en cualquier estado.
- Amortización: Al condicionar la política al input $X$ (y opcionalmente a $Y$ ), el modelo aprende un muestreador generalizable. Esto permite una inferencia eficiente en inputs no vistos sin tener que ejecutar procedimientos de muestreo costosos como MCMC para cada consulta.
- Exploración: Para manejar el espacio de búsqueda combinatorio, los lotes de entrenamiento se componen de trayectorias de la política actual, una versión atemperada de la política y un búfer de repetición de trayectorias pasadas.

Aplicación a la Cadena de Pensamiento (Chain-of-Thought)

El artículo interpreta el razonamiento de cadena de pensamiento como un problema de modelado de variables latentes. En lugar de pedirle al modelo que genere una única cadena, el modelo ajustado con GFlowNet muestrea diversas cadenas latentes $Z$ . La predicción final se obtiene mediante Promedio de Modelos Bayesianos: muestreando múltiples $Z$ de la GFlowNet y agregando las predicciones $Y$ resultantes del LLM base.

Contribuciones Clave

Algoritmo General: Un método general para el muestreo amortizado de posteriores de LLM intratables utilizando objetivos de GFlowNet.
Enfoque de Razonamiento Probabilístico: Una formulación del razonamiento de cadena de pensamiento como un problema de inferencia bayesiana, permitiendo una adaptación eficiente de datos a tareas de racionalización de múltiples pasos.
Validación Empírica: Demostración del método a través de cuatro dominios distintos:
- Continuación de oraciones (maximizando la verosimilitud mientras se mantiene la diversidad).
- Relleno de historias (generando segmentos medios coherentes).
- Clasificación de subjetividad (aprendizaje de pocos disparos con racionales latentes).
- Aritmética de enteros con uso de herramientas (razonamiento paso a paso).

Resultados Experimentales

Los autores evaluaron el método contra líneas base que incluyen muestreo estándar, búsqueda de haz diversa (diverse beam search), ajuste fino supervisado (SFT) y Optimización de Política Próxima (PPO).

Continuación de Oraciones: El ajuste fino con GFlowNet logró una mayor diversidad de muestras manteniendo una alta log-verosimilitud en comparación con la búsqueda de haz diversa, incluso cuando la línea base recibió 5 veces más cómputo.
Relleno de Historias: En el conjunto de datos ROCStories, el ajuste fino con GFlowNet superó significativamente al prompting y al SFT en BERTScore, BLEU-4 y evaluación de GPT-4, produciendo rellenos que vinculaban mejor el principio y el final de las historias.
Clasificación de Subjetividad (Few-Shot): Usando un modelo de 6B parámetros con solo 10 ejemplos etiquetados, el ajuste fino con GFlowNet alcanzó un 71.4% de precisión, superando al SFT (64.3%) y al prompting de pocos disparos (61.3%).
Aritmética de Enteros con Uso de Herramientas: En una tarea fuera de la distribución (OOD) que involucra 5 operandos (entrenada con 3-4), el ajuste fino con GFlowNet alcanzó un 40.7% de precisión. Esto superó significativamente al SFT (12.8%) y a PPO (5.6%). Los autores señalan que PPO sufrió de una mala especificación de la recompensa, lo que llevó a secuencias espurias que no llamaban válidamente a la herramienta de calculadora, mientras que el enfoque de correspondencia de distribución de GFlowNet fue robusto ante esto.

Significancia y Reivindicaciones

El artículo afirma que el ajuste fino de GFlowNet ofrece una alternativa fundamentada al entrenamiento de máxima verosimilitud y a la optimización de políticas de maximización de recompensa. Su principal significancia radica en:

Diversidad y Robustez: Al hacer coincidir la distribución objetivo completa en lugar de maximizar una sola recompensa, el método evita el colapso de modo y es robusto a la mala especificación de la recompensa.
Eficiencia de Datos: El enfoque de inferencia amortizada permite una adaptación efectiva a tareas que requieren un razonamiento complejo con muy pocos ejemplos etiquetados.
Generalización: El método demuestra una capacidad superior de generalización fuera de la distribución, particularmente en tareas de razonamiento donde los métodos de RL estándar fallan al explorar el espacio de soluciones de manera efectiva.

Los autores concluyen que este paradigma convierte la computación en un mejor rendimiento en tiempo de prueba sin requerir datos adicionales, permitiendo un razonamiento más flexible con los LLMs. Reconocen las limitaciones respecto a la escala de los modelos utilizados (hasta 6B de parámetros) y el hecho de que el método mejora las capacidades de inferencia pero no corrige inherentemente los problemas de alucinaciones o de falta de calibración arraigados en la representación del conocimiento del modelo base.