MultiGA: Leveraging Multi-Source Seeding in Genetic Algorithms

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLMs) han transformado la resolución de problemas, pero presentan capacidades de razonamiento desiguales y disparidades de rendimiento significativas entre diferentes modelos propietarios (como GPT, Gemini, Claude) y de código abierto. La selección de un único modelo para tareas complejas es a menudo subóptima o incierta, especialmente en dominios interdisciplinarios. Además, las técnicas actuales de mejora en tiempo de inferencia (como Self-Refine o LLMs-as-Judges) suelen depender de un solo modelo, lo que limita la exploración del espacio de soluciones y la robustez frente a fallos específicos de una arquitectura o familia de modelos.

El desafío principal es cómo aprovechar las fortalezas complementarias de diversos LLMs para mejorar la precisión y la robustez en tareas de razonamiento sin depender exclusivamente de un modelo "monolítico" costoso o específico.

2. Metodología: El Framework MultiGA

Los autores proponen MultiGA (Algoritmo Genético Multi-Fuente), un marco de optimización que aplica principios de algoritmos genéticos evolutivos al dominio de los LLMs. A diferencia de los algoritmos genéticos tradicionales que inicializan poblaciones aleatoriamente, MultiGA utiliza una siembra multi-fuente.

El proceso se estructura en las siguientes fases:

• Inicialización de la Población (Siembra Multi-Fuente):
  • En lugar de usar un solo modelo, la población inicial ($P_0$) se genera solicitando soluciones a un conjunto diverso de LLMs generadores ($G = \{g_1, ..., g_m\}$).
  • Estos generadores provienen de diferentes familias (ej. Llama, Gemma, GPT, Phi) para maximizar la diversidad de sesgos inductivos y cubrir un espacio de búsqueda más amplio.
• Evaluación de Aptitud (Fitness):
  • Se utiliza un LLM independiente ($E$), perteneciente a una familia diferente a la de los generadores, para actuar como juez neutral.
  • La evaluación es bifásica:
    1. Comparación directa con la verdad fundamental (ground truth) cuando es aplicable.
    2. Evaluación semántica mediante el LLM $E$, que califica la corrección y calidad de la respuesta en una escala de [0, 1], evitando sesgos de similitud superficial.
• Selección y Recombinación:
  • Se seleccionan los $k$ mejores candidatos (padres) basándose en su puntuación de aptitud.
  • Se aplica un umbral de retiro ($\tau$) para eliminar soluciones de baja calidad.
  • Recombinación (Cruce): El LLM evaluador ($E$) actúa también como motor de recombinación. Dado dos padres, $E$ sintetiza una nueva solución ("hijo") que integra las fortalezas de ambos, superando las limitaciones de los operadores de cruce basados en tokens tradicionales. Esto permite una recombinación semántica coherente.
• Iteración y Terminación:
  • El proceso se repite iterativamente hasta alcanzar una aptitud objetivo ($\phi$) o agotar un presupuesto de generaciones ($T$).

3. Contribuciones Clave

1. Framework MultiGA: Propuesta de un sistema de optimización genética que inicializa poblaciones con salidas de múltiples LLMs heterogéneos y utiliza un evaluador/recombinador independiente para refinar soluciones.
2. Validación Empírica: Demostración de que MultiGA reduce la dependencia de un único modelo. En tres de cuatro benchmarks, una configuración sembrada principalmente con modelos de código abierto superó a una variante sembrada exclusivamente con un modelo propietario de vanguardia (GPT-5), utilizando el mismo evaluador.
3. Fundamento para Futuras Investigaciones: Establece una base para explorar cómo los conjuntos (ensembles) de modelos heterogéneos (abiertos y propietarios) pueden impulsar mejoras en dominios interdisciplinarios y tareas novedosas donde la selección de un solo modelo es incierta.

4. Resultados Experimentales

Los autores evaluaron MultiGA en cuatro benchmarks diversos:

• Text-to-SQL (DSQL): MultiGA logró una precisión de 0.705, superando significativamente a las líneas base de 0-shot y few-shot, y a modelos individuales como GPT-4. Demostró capacidad para corregir errores de alineación de esquemas mediante la poda de traducciones incorrectas.
• Planificación de Reuniones (DNATPLAN): Aunque un solo modelo (GPT-5) logró el puntaje más alto (0.95) en esta tarea específica, MultiGA (configuración GA) obtuvo 0.88, superando a las líneas base. Esto sugiere que la ventaja de la siembra múltiple es mayor en tareas complejas y de múltiples pasos (como SQL) que en tareas donde un modelo ya domina.
• Preguntas Científicas de Grado Superior (GPQA): La configuración GA alcanzó una precisión de 0.959, superando a la línea base de Gemini 3 Pro (0.917). Esto demuestra que es posible lograr un rendimiento de vanguardia en razonamiento científico utilizando modelos de código abierto como generadores si se utiliza un framework de optimización robusto.
• Evaluación de Sesgo (BBQ): MultiGA logró una precisión de 0.966 en la detección de sesgos raciales. Sin embargo, se observó que la agregación de modelos más débiles puede, en algunos casos, reducir la robustez en evaluaciones de equidad si el evaluador no es lo suficientemente capaz para corregir los sesgos de los padres.

Hallazgo Importante: El uso de un modelo grande y costoso en todo el pipeline no es necesario. MultiGA demuestra que es posible extraer resultados de alta calidad combinando modelos más accesibles y económicos, utilizando un modelo evaluador fuerte solo para la selección y recombinación.

5. Significado e Impacto

El trabajo de MultiGA es significativo porque:

• Mitiga la Fragilidad: Reduce las fluctuaciones de rendimiento asociadas con la dependencia de un único modelo, ofreciendo una solución más robusta ante la incertidumbre de qué modelo es el mejor para una tarea específica.
• Eficiencia de Costos: Permite obtener resultados competitivos utilizando conjuntos de modelos de código abierto, reduciendo la necesidad de depender exclusivamente de modelos propietarios costosos para la generación masiva.
• Nueva Paradigma de Optimización: Introduce una visión evolutiva para la ingeniería de prompts y la resolución de problemas con LLMs, donde la diversidad de la población inicial es tan crucial como la capacidad del modelo evaluador.
• Escalabilidad: El framework es general y adaptable a cualquier tarea mediante la definición de prompts específicos, lo que lo hace aplicable a flujos de trabajo de agentes complejos en el futuro.

En resumen, MultiGA demuestra que la inteligencia colectiva de múltiples modelos, gestionada a través de principios evolutivos, puede superar las limitaciones de los enfoques de modelo único, ofreciendo una ruta prometedora para la optimización de tareas de razonamiento complejo.