Resumen Técnico: Aprendizaje de Conjuntos para Grandes Modelos de Lenguaje en la Generación de Texto y Código

1. Declaración del Problema

Los Transformadores Preentrenados Generativos (GPTs) se han convertido en fundamentales para la generación de texto y código. Sin embargo, los Grandes Modelos de Lenguaje (LLMs) individuales enfrentan limitaciones significativas que dificultan su fiabilidad y aplicabilidad en diversos escenarios del mundo real:

• Inconsistencia y Sesgo: Los LLMs individuales suelen producir salidas inconsistentes y exhiben sesgos debido a sus datos de entrenamiento y parámetros arquitectónicos fijos, lo que limita su capacidad para representar diversos patrones lingüísticos.
• Techo de Rendimiento: Estudios recientes indican que incluso los mejores LLMs individuales alcanzan aproximadamente solo un 57% en la calidad de la generación de chat debido a restricciones arquitectónicas.
• Restricciones de Código Cerrado: La naturaleza propietaria de muchos LLMs potentes restringe la adopción industrial debido a preocupaciones de privacidad de datos y limita la capacidad de integrar diversos modelos.
• Alucinaciones: La dependencia de un solo modelo puede conducir a alucinaciones y a una degradación de la calidad del texto, particularmente cuando el modelo carece de acceso a conocimiento externo.

Si bien existen técnicas como la Mezcla de Expertos (MoE) y criterios de entrenamiento mejorados, estas suelen permanecer dentro del alcance de las arquitecturas de un solo modelo. Existe la necesidad de una revisión exhaustiva de las técnicas de conjuntos de LLM que combinan múltiples modelos para superar estas limitaciones de un solo modelo, específicamente para la generación de texto y código.

2. Metodología

Este artículo proporciona una encuesta y un análisis sistemático de los enfoques emergentes de conjuntos de LLM. Los autores categorizan estas técnicas en siete métodos primarios, distinguiendo entre conjuntos a Nivel de Arquitectura (modificando la estructura o los parámetros del modelo) y conjuntos a Nivel de Modelo (combinando salidas o decisiones de enrutamiento sin necesidad de fusionar pesos).

A. Conjuntos a Nivel de Arquitectura

1. Fusión de Pesos (Weight Merging): Combina parámetros de múltiples LLMs entrenados en un solo modelo.
   • Técnicas: Promedio simple, Aritmética de Tareas (usando vectores de tareas definidos como la diferencia entre los pesos ajustados y los preentrenados), TIES (Recorte, Interpolación y selección basada en signos) y DARE (Drop And RE-scale).
   • Objetivo: Consolidar el conocimiento aprendido diverso sin entrenamiento adicional.
2. Fusión de Conocimiento (Knowledge Fusion): Entrena un LLM objetivo utilizando una distribución probabilística fusionada derivada de múltiples LLMs de origen.
   • Técnicas: Extiende la destilación de conocimiento definiendo funciones de fusión sobre las distribuciones de predicción a nivel de token. Aborda los problemas de alineación de tokens (tokenizadores diferentes) mediante programación dinámica o distancia de edición mínima.
   • Objetivo: Transferir el conocimiento colectivo de modelos estructuralmente diferentes a un modelo objetivo.
3. Mezcla de Expertos (Mixture-of-Experts - MoE): Una arquitectura transformer donde una red de compuerta (gating network) enruta los tokens de entrada a subredes de expertos específicos.
   • Técnicas: La activación dispersa (por ejemplo, seleccionando los $n$ mejores expertos) permite escalar la capacidad del modelo sin aumentos proporcionales en el costo computacional.
   • Objetivo: Modelar distribuciones de datos multidominio de manera eficiente.
4. Conjunto de Recompensas (Reward Ensemble): Agrega múltiples Modelos de Recompensa (RM) dentro del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF).
   • Técnicas: Utiliza optimización de la media, optimización del peor caso u optimización ponderada por incertidumbre para combinar puntuaciones de múltiples RM.
   • Objetivo: Mitigar el "reward hacking" (sobreoptimización) y mejorar la alineación con las preferencias humanas.

B. Conjuntos a Nivel de Modelo

5. Conjunto de Salida (Output Ensemble): Combina respuestas de múltiples LLMs en el momento de la inferencia sin reentrenamiento.
   • Técnicas: Votación por mayoría para clasificación, o el uso de un LLM sintetizador para fusionar múltiples textos generados (por ejemplo, Mixture-of-Agents).
   • Objetivo: Aprovechar las fortalezas de diferentes modelos base para mejorar la precisión y la robustez.
6. Enrutamiento (Routing): Dirige las consultas de entrada al LLM más adecuado de un grupo basado en un modelo de puntuación.
   • Técnicas: Utiliza clasificadores (por ejemplo, kNN, transformers) o funciones de puntuación (por ejemplo, puntuación BART) para predecir el mejor modelo para una tarea específica, equilibrando costo y rendimiento.
   • Objetivo: Optimizar los costos de despliegue manteniendo un alto rendimiento.
7. Cascada (Cascading): Invoca una secuencia de LLMs, comenzando con un modelo más débil/barato y escalando a modelos más fuertes solo si es necesario.
   • Técnicas: Un tomador de decisiones evalúa la salida inicial (por ejemplo, mediante puntuaciones de acuerdo o verificaciones de consistencia) contra un umbral. Si el umbral no se cumple, se invoca a un modelo más potente.
   • Objetivo: Lograr un rendimiento cercano al óptimo a una fracción del costo.

C. Marco de Evaluación

El artículo evalúa estos métodos utilizando métricas estándar para la generación de texto y código:

• Texto: Precisión, Tasa de Victoria (Win Rate), BLEU, Puntuaciones de Alineación, Evaluación Humana, MMLU, GSM8K, AlpacaEval, MT-Bench.
• Código: Pass@k, CodeBLEU, Tiempo de Ejecución, HumanEval, MBPP.

3. Contribuciones Clave y Resultados

El artículo revisa trabajos representativos (2023–2024) para cada categoría, destacando ganancias de rendimiento específicas:

• Fusión de Pesos: Métodos como DARE y TIES permiten fusionar modelos especializados (por ejemplo, modelos de matemáticas y de código) sin entrenamiento. Los resultados muestran que los modelos fusionados pueden superar a GPT-3.5 en tareas específicas (por ejemplo, razonamiento matemático en japonés) y equilibrar las capacidades en diversos dominios, aunque aún pueden quedar por detrás de GPT-4 en conversación general.
• Fusión de Conocimiento: Modelos como FusionChat (7 mil millones de parámetros) aprovechan con éxito el conocimiento de diversas arquitecturas (Mixtral, Solar, OpenChat) para superar a los modelos constituyentes en razonamiento y codificación, logrando resultados competitivos con el de código cerrado GPT-3.5.
• Mezcla de Expertos: Arquitecturas como Mixtral 8x7B y OLMOE demuestran que la activación dispersa puede superar a modelos densos más grandes (por ejemplo, LLaMA 2 70B) en MMLU y generación de código (HumanEval) utilizando significativamente menos parámetros activos.
• Conjunto de Recompensas: Los conjuntos de recompensas basados en LoRA mejoran las puntuaciones de alineación (por ejemplo, de <4.16 a 4.35 en MT-Bench) y la precisión en conjuntos de datos de utilidad sin incrementos computacionales proporcionales.
• Conjunto de Salida: El enfoque Mixture-of-Agents (MoA), que utiliza una arquitectura de agentes por capas, logró una tasa de victoria del 65.1% en AlpacaEval2.0 (frente al 57.5% de GPT-4o mini) y un 92.0% en HumanEval, superando a modelos comerciales fuertes.
• Enrutamiento: Sistemas como Routoo y MLC Router demuestran que el enrutamiento entre modelos de código abierto puede lograr un 75.87% de precisión en MMLU a menos de la mitad del costo de GPT-3.5, y acercarse al rendimiento de GPT-4-Turbo a la mitad del costo al mezclar modelos cerrados.
• Cascada: Las cascadas FrugalGPT y Mixture-of-Thought (MoT) reducen los costos hasta en un 80% mientras mantienen o superan ligeramente la precisión de GPT-4 en tareas de clasificación y razonamiento.

4. Significancia y Reivindicaciones

El artículo afirma que las técnicas de conjuntos de LLM ofrecen una vía práctica para superar las limitaciones de los enfoques de un solo modelo, proporcionando:

• Diversidad y Calidad Mejoradas: Al combinar múltiples agentes, los conjuntos mejoran la representación de diversos patrones lingüísticos y reducen los sesgos.
• Eficiencia de Costo y Recursos: Técnicas como el enrutamiento, la cascada y la fusión de pesos permiten salidas de alto rendimiento sin la carga computacional de entrenar nuevos modelos masivos desde cero.
• Flexibilidad: Estos métodos permiten la integración de modelos tanto de código abierto como de código cerrado, abordando las preocupaciones de privacidad y permitiendo un diseño de sistema modular.
• Aplicabilidad en el Mundo Real: La encuesta proporciona una base para seleccionar estrategias de conjunto apropiadas para tareas específicas (por ejemplo, razonamiento, generación de código, seguimiento de instrucciones) en sectores como la medicina, las finanzas y la educación.

Los autores concluyen que, si bien persisten desafíos —particularmente en la adaptación de estos métodos específicamente para la generación de código y su extensión a LLMs multimodales—, el aprendizaje de conjuntos representa un paso crucial hacia la democratización de las capacidades avanzadas de IA y la optimización de los procesos de toma de decisiones en la industria.