💻 computer science

Divergence Decoding: Training-Free Capability Fusion

Divergence Decoding es un marco de trabajo libre de entrenamiento que fusiona dinámicamente la experiencia de dominio de modelos especializados con el razonamiento lógico de modelos generalistas mediante el uso de la divergencia de Jensen-Shannon para enrutar adaptativamente la generación de tokens, superando así a las líneas base de un solo modelo en evaluaciones científicas.

Autores originales: Yimi Wang, Hao Li, Shuo Yang, He Cao, Dechen Zhang, Ziang Wu, Zhiyuan Yan, Fanyang Mo, Li Yuan

Publicado 2026-07-31

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yimi Wang, Hao Li, Shuo Yang, He Cao, Dechen Zhang, Ziang Wu, Zhiyuan Yan, Fanyang Mo, Li Yuan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos amigos brillantes que están a punto de realizar un examen masivo y complicado. Una de sus amigas, llamémosla "La Especialista", se ha memorizado cada uno de los hechos del libro de texto de química. Conoce el nombre de cada molécula y la fórmula exacta de una reacción. Sin embargo, a veces se concentra tanto en los detalles que olvida pensar lógicamente, tropezando con los pasos necesarios para resolver un rompecabezas complejo. Su otro amigo, "El Generalista", es un maestro de la lógica y el razonamiento. Él puede descifrar los pasos para resolver casi cualquier problema, pero no conoce los nombres o hechos específicos; podría adivinar el ingrediente equivento porque nunca lo ha visto antes.

Durante mucho tiempo, los científicos han estado estancados tratando de elegir entre estos dos amigos. Si necesitas la respuesta a una pregunta de química, normalmente tienes que elegir a uno u otro. Pero, ¿qué pasaría si pudieras hacer que trabajen juntos en tiempo real? ¿Qué pasaría si pudieras hacer que la Especialista escribiera la respuesta, pero que el Generalista estuviera justo al lado de ella, susurrando: "Espera, ese paso no tiene sentido", e interviniera para corregirlo solo cuando es necesario? Esta es la idea central detrás de un nuevo método llamado Divergence Decoding (Decodificación por Divergencia). Es una forma de fusionar el conocimiento profundo de un especialista con la aguda lógica de un generalista sin necesidad de enseñarles nada nuevo ni entrenarlos juntos.

El Problema: El dilema del "Inteligente pero Torpe" frente al "Lógico pero Ignorante"

En el mundo de la Inteligencia Artificial, tenemos dos tipos principales de "cerebros". Primero, existen los Modelos de Lenguaje de Gran Escala (LLM) Generalistas. Estos son como las enciclopedias omniscientes de internet. Son increíblemente buenos razonando, siguiendo largas cadenas de lógica y recuperándose de los errores. Pueden hablar de casi cualquier cosa. Por otro lado, tenemos los Modelos Especialistas de Dominio. Estos son los expertos. Han sido entrenados específicamente en ciencia, como química o biología. Conocen la jerga y los hechos mejor que nadie.

El problema es que ninguno es perfecto por sí solo. El Generalista puede razonar perfectamente pero equivocarse en la ciencia porque carece de hechos específicos. La Especialista conoce los hechos pero a menudo pierde su hilo lógico, cometiendo errores tontos en medio de una explicación compleja. Los científicos querían saber: ¿Podemos combinar estas dos fortalezas en el momento exacto en que la computadora está pensando, para obtener lo mejor de ambos mundos?

La Solución: La danza del "JS Gate" y el "Borrador y Verificación"

Los autores de este artículo, de la Universidad de Pekín y otras instituciones, idearon un truco ingenioso que no requiere entrenamiento llamado Divergence Decoding. Piensa en esto como un juego de "Teléfono descompuesto" de alta velocidad jugado por dos personas, pero con un giro.

Normalmente, cuando una computadora escribe texto, adivina la siguiente palabra una por una. En este nuevo método, la Especialista (la experta en química) toma la iniciativa. Ella "redacta" algunas palabras por adelantado, como un escritor que anota rápidamente una oración. Pero antes de que esas palabras se escriban oficialmente, el Generalista (el experto en lógica) las revisa.

Aquí está la parte mágica: el sistema no solo pregunta: "¿Está de acuerdo el Generalista con la palabra?". En su lugar, pregunta: "¿Qué tan diferentes son sus pensamientos?". Utiliza una herramienta matemática llamada divergencia de Jensen-Shannon (JS). Puedes pensar en esto como un "medidor de desacuerdo".

Bajo Desacuerdo (Luz Verde): Si la Especialista y el Generalista están pensando casi lo mismo sobre la siguiente palabra, el sistema asume que la Especialista tiene razón. Acepta la palabra y continúa. Esto mantiene la precisión de los hechos científicos.
Alto Desacuerdo (Luz Roja): Si los dos modelos tienen predicciones totalmente diferentes, el sistema lo trata como una señal de advertencia. Esto significa que la Especialista podría estar a punto de cometer un error lógico. En este caso, el sistema transfiere instantáneamente el control al Generalista, quien elige una mejor palabra para mantener el camino de la lógica.

Esto sucede al nivel de las palabras individuales (tokens), miles de veces por segundo, creando una conversación fluida donde la Especialista proporciona los hechos y el Generalista proporciona la red de seguridad.

Lo que Encontraron: El efecto "A + B > A"

Los investigadores probaron esta idea en algunos acertijos de química y ciencia muy difíciles, incluyendo benchmarks como ChemBench, ChemCoTBench y GPQA. Emparejaron diferentes modelos, como las series Qwen y Llama, para ver si esta "fusión" funcionaba.

Los resultados fueron emocionantes. El sistema combinado (Divergence Decoding) superó consistentemente tanto a la Especialista sola como al Generalista solo.

En tareas de química que involucran la comprensión de moléculas y la edición de las mismas, el modelo fusionado obtuvo una puntuación más alta que cualquiera de los dos modelos trabajando por separado.
Por ejemplo, en una tarea llamada "Ring System Scaffold" (identificación de estructuras de anillos complejos en moléculas), el modelo fusionado logró una puntuación de 0.70, superando al 0.58 de la Especialista y al 0.67 del Generalista.
En las difíciles preguntas de química de GPQA (Preguntas y Respuestas de Nivel de Posgrado imposibles de encontrar en Google), el modelo fusionado alcanzó un 37.50% de precisión, mientras que la Especialista solo obtuvo un 15.28% y el Generalista un 23.61%.

Esto sugiere que, al dejar que los dos modelos colaboren, crean un "supercerebro" que es más inteligente que la suma de sus partes.

El "Cuándo" y el "Dónde" de la Magia

El artículo también analizó de cerca cuándo ocurre este cambio. Encontraron que el sistema interviene principalmente al principio de la respuesta (el primer 0% al 25% del texto). Este es el momento en que se establece la ruta de razonamiento. Si la Especialista comienza por un camino lógico erróneo temprano, el Generalista interviene para corregir la dirección antes de que el error se propague.

Curiosamente, las palabras que se reemplazan no suelen ser los términos científicos difíciles (como "benceno" o "catalizador"), sino las palabras de conexión y frases lógicas (como "por lo tanto", "sin embargo" o "una vez que se reconocen estas características"). Esto nos dice que el trabajo principal del Generalista es mantener la coherencia de la lógica de la historia, mientras que la Especialista aporta los hechos.

Lo que NO es (y lo que NO es)

Es importante notar lo que este método no es. No es "Speculative Decoding" (Decodificación Especulativa), una técnica común utilizada para hacer que la IA sea más rápida. La Decodificación Especulativa intenta adivinar la siguiente palabra para acelerar las cosas mientras finge ser un solo modelo. La Decodificación por Divergencia no se preocupa por la velocidad; se preocupa por la calidad. Activamente cambia la respuesta para que sea mejor, incluso si eso significa que la computadora tiene que pensar un poco más.

Además, el artículo sugiere que esto funciona porque los dos modelos cometen diferentes tipos de errores. Cuando discrepan, suele ser una señal de que la Especialista tiene dificultades con la lógica, no de que el Generalista esté confundido. El sistema utiliza este desacuerdo como una señal para cambiar de marcha.

Conclusión

La Decodificación por Divergencia es una nueva forma de construir una IA más inteligente sin necesidad de pasar meses entrenando un nuevo y gigante modelo. Simplemente toma a un experto y a un lógico, deja que hablen entre sí y utiliza un "medidor de desacuerdo" para decidir quién debe hablar a continuación. Los resultados sugieren que este truco simple, que no requiere entrenamiento, puede crear un sistema que es más confiable y preciso que cualquiera de los dos modelos por sí solo, ofreciendo un camino prometedor para construir mejores herramientas de IA para la ciencia y el descubrimiento.

Resumen Técnico: Decodificación de Divergencia (Divergence Decoding)

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) enfrentan actualmente una dicotomía en el razonamiento científico. Los modelos de propósito general sobresalen en la lógica de múltiples pasos y la robustez, pero a menudo carecen de un conocimiento de dominio profundo y detallado. Por el contrario, los modelos especializados en dominios (por ejemplo, en química o biología) poseen conocimiento experto, pero frecuentemente sufren de un debilitamiento en el razonamiento lógico, una reducción en la robustez y una pobre generalización fuera del dominio. Los paradigmas de colaboración multi-modelo existentes, como la decodificación especulativa, están diseñados primordialmente para la aceleración y están estrictamente limitados por la invariancia distributiva, fallando al no poder fusionar dinámicamente capacidades complementarias a nivel de token. El desafío central es combinar estas capacidades dispares durante la inferencia sin requerir entrenamiento adicional, ajuste fino conjunto o un enrutador dedicado.

Metodología: Decodificación de Divergencia

Los autores proponen la Decodificación de Divergencia (Divergence Decoding), un marco de trabajo libre de entrenamiento que fusiona un modelo "especialista" especializado en el dominio y un modelo "generalista" de razonamiento general mediante un mecanismo de enrutamiento adaptativo y dependiente del estado.

Mecanismo Central

El método reconstruye el esqueleto de "borrador y verificación" (draft-and-verify) de la decodificación especulativa en un sistema de fusión de capacidades:

Borrador (Drafting): El modelo especialista (Modelo A) redacta un bloque de $n$ tokens candidatos basados en el prefijo actual.
Verificación (Verification): El modelo generalista (Modelo B) evalúa los mismos prefijos del borrador para generar sus propias distribuciones predictivas para la misma secuencia.
Monitoreo de Divergencia (Divergence Monitoring): En cada posición de token dentro del bloque, el sistema calcula la divergencia de Jensen-Shannon (JS) entre las distribuciones del siguiente token del especialista y del generalista.
Enrutamiento Adaptativo (Adaptive Routing):
- Baja Divergencia ( $s_j \le \tau$ ): Los modelos están de acuerdo localmente. El sistema acepta el token del especialista, preservando la pericia del dominio.
- Alta Divergencia ( $s_j > \tau$ ): Los modelos discrepan significativamente, señalando un potencial riesgo de razonamiento. El sistema rechaza el token del especialista, recurre al modelo generalista para muestrear un token de reemplazo y termina la verificación del bloque actual.

Justificación Teórica

El artículo argumenta que este enfoque es distinto de la decodificación especulativa estándar. Mientras que la decodificación especulativa busca reproducir una distribución objetivo de manera eficiente, la Decodificación de Divergencia busca construir una nueva distribución de política que es una composición adaptativa de dos modelos. El análisis teórico sugiere que, bajo una visión de errores complementarios, la divergencia JS actúa como una señal confiable: los estados de baja divergencia corresponden a regímenes donde las correcciones específicas del dominio del especialista son superiores, mientras que los estados de alta divergencia identifican regímenes donde la robustez del generalista reduce el riesgo. En consecuencia, la política enrutada puede teóricamente superar a cualquiera de los modelos constituyentes por sí solo.

Detalles de Implementación

Libre de Entrenamiento (Training-Free): No se requiere entrenamiento de enrutador, ajuste fino conjunto ni supervisión adicional.
Procesamiento por Bloques (Blockwise Processing): Para mantener la eficiencia, el método utiliza un enfoque de redacción por bloques donde el generalista verifica un bloque de tokens en una sola pasada hacia adelante (teacher-forced), en lugar de hacerlo token por token.
la configuración de muestreo estándar (temperatura, top-p) compartida por ambos modelos.

Contribuciones Clave

Fusión de Tokens Libre de Entrenamiento: Introducción de un mecanismo que integra dinámicamente un LLM especializado en ciencia y un LLM de razonamiento general durante la decodificación utilizando una compuerta basada en JS, eliminando la necesidad de entrenamiento de enrutador adicional o optimización conjunta.
Reencuadre Teórico de la Colaboración: Un análisis teórico que demuestra que el enrutamiento con compuerta JS no es simplemente un muestreo especulativo, sino una composición de política dependiente del estado. El análisis proporciona las condiciones bajo las cuales la política combinada supera estrictamente a los modelos individuales al aprovechar los estados de baja divergencia para ganancias de dominio y los estados de alta divergencia para retrocesos seguros.
Validación Empírica: Evaluación exhaustiva a través de diversas familias de modelos (series Qwen y Llama) y evaluaciones científicas, confirmando el efecto "A + B > A o B".

Resultados Experimentales

El marco fue evaluado en tres evaluaciones autorizadas: ChemCoTBench, ChemBench y GPQA (que cubren química, biología y física).

Desempeño: La Decodificación de Divergencia superó consistentemente tanto al modelo especialista como al generalista de forma independiente en la mayoría de las tareas. Por ejemplo, en GPQA, el enfoque fusionado logró una precisión significativamente mayor (por ejemplo, 37.50% frente al 15.28% del especialista y 23.61% del generalista en Química).
Estudios de Ablación:
- Métrica de Divergencia: La divergencia JS (específicamente la JS de los top-10 del vocabulario) demostró ser superior a la divergencia de vocabulario universal y a las diferencias de log-probabilidad de un solo token, ofreciendo el mejor equilibrio entre efectividad y costo computacional.
- Patrones de Remuestreo: El análisis reveló que los eventos de remuestreo están altamente concentrados en el 0–25% inicial de la trayectoria de los tokens. Los tokens de retroceso inyectados fueron predominantemente conectores de lenguaje natural en lugar de entidades de dominio, lo que sugiere que el rol del generalista es estabilizar el marco de razonamiento y corregir la dirección lógica tempranamente.
Eficiencia: Aunque el método introduce una sobrecarga mínima, mantiene una eficiencia de inferencia comparable. En tareas de edición de moléculas, logró una inferencia más rápida debido al alto acuerdo entre los modelos, mientras que las tareas de comprensión de moléculas vieron un ligero aumento en la latencia debido a los retrocesos más frecuentes.

Significado y Reivindicaciones

El artículo afirma que la Decodificación de Divergencia proporciona un paradigma general y libre de entrenamiento para fusionar diversas capacidades de LLM. Su significado radica en:

Resolver el Dilema Especialista-Generalista: Une eficazmente la brecha entre el conocimiento profundo del dominio y el razonamiento lógico riguroso sin el costo de reentrenamiento.
Composición de Política Adaptativa al Riesgo: Reencuadra la colaboración multi-modelo de un mecanismo de aceleración a un método de composición de política adaptativa al riesgo, donde el control cambia dinámicamente basado en el desacuerdo de los modelos.
Utilidad Práctica: Al aprovechar LLMs heterogéneos existentes, ofrece un camino escalable para construir sistemas de IA científica de alto rendimiento, demostrando que la colaboración adaptativa en tiempo de inferencia puede producir resultados sinérgicos superiores a cualquier modelo único.