Resumen Técnico: DEI – Diversidad en la Inferencia Evolutiva para la Búsqueda de Calidad-Diversidad

1. Enunciado del Problema

Los algoritmos evolutivos tradicionalmente dependen de operadores de mutación para explorar espacios de soluciones. Si bien los Modelos de Lenguaje Grandes (LLM) han surgido como operadores creativos efectivos capaces de mutación semántica y generación de programas, los enfoques distribuidos existentes para la búsqueda basada en LLM a menudo tratan la escalabilidad como un problema puramente computacional en lugar de uno cognitivo.

Los métodos actuales, como FunSearch, suelen desplegar ensembles homogéneos donde múltiples trabajadores llaman al mismo modelo LLM. En estas configuraciones, la diversidad surge únicamente del muestreo estocástico dentro de un único sesgo inductivo. En consecuencia, los "puntos ciegos" en la distribución generativa de un modelo se convierten en brechas permanentes en el archivo de búsqueda. Además, marcos existentes como la Reina Roja Digital (DRQ) introducen presión adversaria pero a menudo operan dentro de un contexto de un solo nodo y un solo modelo. El desafío abordado por este artículo es cómo aprovechar los sesgos inductivos distintos de los LLM heterogéneos para impulsar la búsqueda de Calidad-Diversidad (QD) de manera más efectiva que el paralelismo homogéneo, al tiempo que se gestionan las complejidades a nivel de sistema de la latencia heterogénea sin cuellos de botella de sincronización.

2. Metodología

2.1. Marco Central: DEI

Los autores proponen DEI (Diversidad en la Inferencia Evolutiva), un marco de búsqueda QD distribuido que asigna LLM heterogéneos como operadores de mutación a través de nodos pares. A diferencia de la búsqueda paralela homogénea, DEI trata los datos de entrenamiento únicos y la alineación de cada LLM como una fuente complementaria de novedad conductual.

El sistema extiende el marco Reina Roja Digital (DRQ), que integra LLM en MAP-Elites (un algoritmo QD canónico). En DRQ, la presión de la "Reina Roja" se genera utilizando a los campeones de la ronda (las soluciones de mayor aptitud) como oponentes para rondas subsiguientes, creando una carrera armamentista co-evolutiva. DEI adapta esto mediante:

1. Asignación Heterogénea: Cada nodo en el gráfico distribuido se asigna a un LLM distinto (por ejemplo, GPT-5.4-mini, Claude Sonnet 4.6, etc.).
2. Presión Adversaria Cruzada entre Modelos: Los nodos comparten sus campeones locales con sus pares. Estos campeones actúan como oponentes para otros nodos, introduciendo estrategias que un modelo específico podría nunca generar internamente.
3. Sembrado del Archivo: Los campeones recibidos se siembran en el archivo local si ocupan celdas conductuales previamente vacías, facilitando la polinización cruzada de nichos.

2.2. Arquitectura del Sistema y Comunicación Asíncrona

Una contribución crítica de sistemas es el manejo de la latencia heterogénea. Los nodos pueden variar desde modelos locales de pesos abiertos (por ejemplo, Qwen-35B en Apple Silicon) hasta modelos de vanguardia en la nube, resultando en latencias de llamada que difieren en un orden de magnitud.

Para evitar estrangular a todo el ensemble a la velocidad del nodo más lento, DEI emplea una capa de comunicación colectiva totalmente asíncrona:

• Gossip No Bloqueante: Los nodos publican sus campeones de ronda a sus pares inmediatamente al completarse.
• Progreso Independiente: Los pares consumen los campeones entrantes a su propio ritmo.
• Sin Barreras de Sincronización: No hay barreras globales; los nodos avanzan independientemente, vaciando los búferes de recepción para actualizar sus pools locales de oponentes y archivos.

2.3. Configuración Experimental

El marco se evalúa en Core War, un punto de referencia de programación competitiva donde programas "guerreros" escritos en ensamblador Redcode luchan en un array de memoria simulado (MARS).

• Características Conductuales (BC): El espacio de búsqueda se discretiza utilizando el Producto Tiempo-Espacio (longitud del código $\times$ vida útil) y la Cobertura de Memoria (fracción del núcleo tocada).
• Aptitud: Evaluada contra un grupo de oponentes que incluye guerreros autorizados por humanos y campeones de ronda.
• Condiciones:
  • Solo: Línea base DRQ de un solo nodo.
  • Ensemble Homogéneo: Cuatro nodos ejecutando el mismo LLM.
  • Ensemble Diverso: Cuatro nodos ejecutando diferentes LLM (GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2, Claude Haiku 4.5).
• Control: Todas las condiciones están estrictamente presupuestadas a un número total igual de llamadas al LLM (por ejemplo, 4 nodos $\times$ 62 iteraciones $\approx$ 1 nodo $\times$ 250 iteraciones).

3. Contribuciones Clave

1. Marco DEI: Un sistema de búsqueda QD distribuido que explota explícitamente ensembles heterogéneos de LLM como operadores de mutación, asignando modelos distintos a nodos distintos para maximizar la cobertura conductual.
2. Integración de Gossip Asíncrono: Un protocolo de comunicación que permite la participación de hardware heterogéneo sin barreras de sincronización, logrando un mayor rendimiento que los enfoques síncronos.
3. Aislamiento Empírico de la Diversidad: Al mantener constante el presupuesto total de cómputo, los autores demuestran que las ganancias de rendimiento son impulsadas por la diversidad de modelos y no por cómputo adicional.
4. Presión Adversaria Cruzada entre Modelos: La introducción de campeones de diferentes familias de modelos como oponentes, impulsando la robustez más allá del auto-juego intra-modelo.

4. Resultados

Evaluado en el dominio de Core War, el ensemble heterogéneo demostró mejoras significativas sobre las líneas base de un solo nodo y los ensembles homogéneos:

• Puntuación QD: El ensemble diverso logró una puntuación QD del archivo fusionado un +124% más alta (45.90 vs. 20.46) en comparación con la línea base de un solo nodo.
• Cobertura: El ensemble diverso cubrió un +28% más de celdas (80.6% vs. 63.0%) del espacio conductual que la línea base.
• Generalidad: A través de las cuatro familias de modelos probadas, la colaboración diversa logró una mayor generalidad (rendimiento contra un conjunto retenido de guerreros humanos) que la colaboración homogénea o la operación en solitario.
• Novedad de Nicho: La métrica $\eta$ (fracción de campeones recibidos que aterrizaron en celdas previamente vacías) fue significativamente mayor en ensembles diversos, confirmando que los pares están llenando brechas que los modelos individuales no pueden alcanzar.
• Comparación con Ensembles Homogéneos: El ensemble diverso superó al ensemble homogéneo con el mismo presupuesto en puntuación QD, cobertura y generalidad. Cabe destacar que, mientras el ensemble homogéneo a veces logró una aptitud por celda más alta (concentrándose en nichos específicos), el ensemble diverso proporcionó la cobertura más amplia del espacio de soluciones.

5. Significado y Afirmaciones

El artículo afirma proporcionar la primera evidencia empírica de que la diversidad de modelos, y no el mero paralelismo, es el motor clave de la ganancia en la búsqueda QD distribuida basada en LLM.

• Escalado Cognitivo: Los autores argumentan que escalar la búsqueda con LLM debe verse como "cognición paralela". Al asignar sesgos inductivos distintos a diferentes nodos, el sistema cubre un espacio conductual más amplio del que cualquier modelo individual podría alcanzar solo.
• Robustez: La presión adversaria cruzada entre modelos crea un proceso evolutivo más robusto, evitando el estancamiento que puede ocurrir cuando los sesgos de un solo modelo dominan la búsqueda.
• Democratización: La arquitectura asíncrona permite a investigadores con recursos limitados (por ejemplo, ejecutando modelos locales de pesos abiertos) contribuir a la búsqueda colaborativa junto con modelos de vanguardia sin verse obstaculizados por diferencias de latencia.

Los autores mantienen modestia respecto al alcance de sus hallazgos, señalando que, aunque la intuición teórica sugiere aplicabilidad a otros dominios, sus resultados empíricos están estrictamente confinados al dominio de Core War. Identifican trabajo futuro en topologías adaptativas, ejes conductuales heterogéneos por nodo y extensión a tareas colaborativas multiagente.