Resumen Técnico: FusionFactory: Fusionando las Capacidades de los LLM con Datos de Registro Multi-LLM

Declaración del Problema

La rápida diversificación de los Modelos de Lenguaje Extensos (LLM) ha dado lugar a un panorama donde diferentes modelos sobresalen en tareas distintas (por ejemplo, generación de código frente a recuperación de hechos). En consecuencia, los profesionales emplean cada vez más múltiples LLM en sus flujos de trabajo, generando valiosos datos de registro multi-LLM. Estos datos consisten en registros de servicio estructurados que contienen pares de consulta-respuesta alineados de múltiples modelos, junto con metadatos como la identidad del modelo, el modo de respuesta (directa frente a aumentada por razonamiento), el costo de inferencia y la retroalimentación de calidad.

A pesar de la disponibilidad de estos datos, los métodos existentes para integrar múltiples LLM suelen abordar únicamente una única etapa del flujo de trabajo de forma aislada:

1. A nivel de consulta (Query-level): Los métodos de enrutamiento seleccionan el mejor modelo para una consulta específica, pero no fusionan capacidades más allá de la selección.
2. A nivel de pensamiento (Thought-level): Las estrategias de prompting agregan el razonamiento, pero a menudo carecen de una evaluación sistemática frente a otras etapas de fusión.
3. A nivel de modelo (Model-level): La destilación y la fusión de modelos transfieren el conocimiento a un único modelo, pero a menudo ignoran las restricciones específicas del servicio basado en API o los matices de los datos de registro.

Existe una brecha crítica en la comprensión de cómo los mismos datos de registro multi-LLM estructurados pueden aprovecharse en diferentes puntos de intervención (enrutamiento, prompting y entrenamiento) para satisfacer diversas necesidades del usuario, particularmente en escenarios donde los pesos de los modelos son inaccesibles (servicio basado en API).

Metodología

Los autores proponen FusionFactory, un marco sistemático para fusionar las capacidades de los LLM, respaldado por LLMFusionBench, un benchmark a gran escala diseñado para evaluar estrategias de fusión a través de tres etapas distintas.

1. Construcción de LLMFusionBench

Para permitir la comparación entre etapas, los autores construyeron un benchmark que comprende:

• Alcance: 14 tareas en 6 dominios (Matemáticas, Código, Razonamiento de Sentido Común, Conocimiento del Mundo, Comprensión de Lectura, Conocimiento Popular).
• Datos: Respuestas de 20 LLM de código abierto que van desde 8B hasta 671B de parámetros, totalizando 103M de tokens.
• Estructura: A diferencia de los conjuntos de datos estándar, cada entrada es una tupla de registro estructurada $(q, t, m, s, r, c, y, j)$, que captura la consulta, la tarea, la identidad del modelo, el modo de respuesta, la respuesta generada, el costo de inferencia, el rendimiento específico de la tarea y una puntuación de un juez LLM.
• Modos Duales: Para cada consulta, los modelos generan tanto respuestas directas como respuestas aumentadas por razonamiento (Cadena de Pensamiento o CoT) para capturar diversos patrones de razonamiento.

2. El Marco de Trabajo FusionFactory

FusionFactory opera en tres niveles, correspondientes a las etapas de fusión temprana, media y tardía en el flujo de trabajo de un LLM:

A. Fusión a Nivel de Consulta (Fusión Temprana)

• Objetivo: Seleccionar el LLM óptimo y el modo de respuesta para una consulta específica antes de la generación.
• Mecanismo: Un enrutador aprende una política $f_\phi$ para mapear $(consulta, tarea)$ a una acción $a = (modelo, modo)$.
• Objetivo: Maximizar una función de recompensa que equilibra el rendimiento ($P$), el costo ($C$) y la calidad del juez LLM ($J$):
  $$Recompensa = \alpha \cdot P - \beta \cdot C + \gamma \cdot J$$
• Implementación: Evaluado mediante varios algoritmos de enrutamiento (KNN, SVM, MLP, BERT, GraphRouter) bajo diferentes escenarios de ponderación de recompensa (Prioridad al Rendimiento, Equilibrio, Prioridad al Costo, Juez LLM).

B. Fusión a Nivel de Pensamiento (Fusión Media)

• Objetivo: Mejorar la generación mediante la inyección de patrones de razonamiento reutilizables sin modificar los pesos del modelo.
• Mecanismo:
  1. Extracción de Plantillas: Un resumidor LLM destila "plantillas de pensamiento" abstractas a partir de las $k$ mejores respuestas de consultas históricas (clasificadas por rendimiento o puntuación de juez).
  2. Recuperación: Para una nueva consulta, se recuperan consultas históricas similares mediante similitud de embeddings.
  3. Prompting: Las plantillas de pensamiento correspondientes se utilizan como demostraciones de pocos disparos (few-shot) para guiar al LLM objetivo.
• Estrategia: Evaluado utilizando estrategias de selección basadas en Rendimiento, basadas en el Juez LLM y estrategias Híbridas para las $k$ mejores respuestas.

C. Fusión a Nivel de Modelo (Fusión Tardía)

• Objetivo: Consolidar capacidades complementarias en un único modelo base mediante el ajuste fino supervisado (SFT).
• Mecanismo: Las respuestas de alta calidad de los registros multi-LLM (seleccionadas por rendimiento o puntuación de juez) sirven como datos de entrenamiento para un modelo base.
• Estrategia: Comparación de Top-$K$ SFT (usando respuestas multi-LLM seleccionadas) frente a Top-$K$ Label-only SFT (usando solo las verdades de campo o ground truths) para aislar el beneficio del conocimiento multi-LLM.

Resultados Clave

Los experimentos se realizaron en el conjunto de prueba completo de LLMFusionBench, comparando los tres niveles de fusión contra el mejor LLM individual y las líneas base de cero disparos (zero-shot).

1. La Fusión a Nivel de Pensamiento Logra el Mejor Rendimiento:

   • La fusión a nivel de pensamiento (específicamente la estrategia Híbrida con modelos de escala completa) logró el mayor rendimiento promedio (0.615), superando al mejor LLM individual (0.600) y a otras líneas base de fusión como LLM-Blender (0.603) y FuseLLM-adaptado (0.557).
   • Las ganancias fueron más pronunciadas en tareas intensivas en razonamiento (Matemáticas y Código), donde la recuperación de diversos rastros de razonamiento proporcionó un valor significativo.
   • Las mejoras en el rendimiento fueron robustas incluso al controlar la recuperación de duplicados cercanos, lo que sugiere que el beneficio proviene de patrones de razonamiento reutilizables en lugar de una simple superposición de datos.

2. La Fusión a Nivel de Consulta Ofrece la Mejor Eficiencia de Costos:

   • La fusión a nivel de consulta (vía GraphRouter) proporcionó un intercambio favorable entre rendimiento y costo.
   • Bajo un enrutamiento consciente del costo, logró un rendimiento comparable al mejor LLM individual, pero con aproximadamente 10 veces menos costo de inferencia (0.0184 vs. 0.1850 en unidades normalizadas).
   • Esto confirma su utilidad para el servicio basado en API donde minimizar el uso de tokens es crítico.

3. La Fusión a Nivel de Modelo Muestra una Generalización Limitada:

   • La fusión a nivel de modelo (SFT) produjo ganancias modestas y, en algunos dominios (Código y Conocimiento del Mundo), funcionó peor que las líneas base de cero disparos.
   • Los autores atribuyen esto al sobreajuste en los estilos de respuesta específicos de los datos registrados y a la dificultad de abstraer comportamientos de tareas heterogéneas en un único conjunto de parámetros.
   • Notablemente, el SFT multi-LLM superó al SFT basado solo en etiquetas (Label-only SFT), confirmando que los registros multi-LLM contienen conocimiento valioso más allá de las verdades de campo, aunque el proceso de consolidación introduce desafíos de generalización.

4. Variaciones Específicas de Dominio:

   • La fusión proporcionó mejoras marginales en los dominios de Conocimiento del Mundo y Matemáticas, que dependen fuertemente de la precisión fáctica estricta y la consistencia lógica, lo que sugiere que estas áreas son menos susceptibles a las heurísticas de fusión actuales.
   • Las tareas con mayor carga de razonamiento (Matemáticas, Código) se beneficiaron más de la fusión a nivel de pensamiento, mientras que las tareas intensivas en conocimiento mostraron resultados mixtos.

Significado y Reivindicaciones

El artículo afirma que FusionFactory y LLMFusionBench proporcionan una perspectiva unificada y consciente de las etapas sobre la fusión de LLM que anteriormente había estado ausente.

• Más allá de la Compatibilidad de API: Mientras que el trabajo previo se centró en el enrutamiento exclusivo de API, este trabajo demuestra que los mismos datos de registro multi-LLM estructurados pueden evaluarse sistemáticamente a través de las etapas de enrutamiento, prompting y entrenamiento.
• Marco de Decisión: La "matriz de etapas de fusión" revela que no existe una única estrategia de fusión óptima; la elección depende de las restricciones de despliegue (por ejemplo, costo vs. precisión) y los requisitos de la tarea (por ejemplo, razonamiento vs. recuperación).
  • Utilice Nivel de Consulta para escenarios sensibles al costo y de alto rendimiento.
  • Utilice Nivel de Pensamiento para maximizar las capacidades de razonamiento sin reentrenamiento del modelo.
  • Utilice Nivel de Modelo solo cuando se requiere estrictamente un único modelo desplegable y el entrenamiento fuera de línea es factible, reconociendo sus límites de generalización.
• Fundamento Práctico: El trabajo valida los datos de registro multi-LLM como una fuente de supervisión práctica y escalable para fusionar diversas capacidades de LLM, ofreciendo un plano para futuros sistemas que deban operar en entornos de servicio heterogéneos y del mundo real.

Los autores concluyen que, si bien la fusión a nivel de pensamiento ofrece actualmente las mayores ganancias de rendimiento, la comparación sistemática permitida por su marco es esencial para comprender las compensaciones entre flexibilidad, costo y generalización en sistemas multi-LLM.