Resumen Técnico: Neuroevolución Eficiente en Parámetros para la Generación Diversa de LLM

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) exhiben frecuentemente colapso de modos, produciendo salidas homogéneas que no exploran el espacio completo de soluciones válidas. En tareas como la generación de código o la escritura creativa, los modelos tienden a converger hacia variantes sintácticamente similares o patrones predecibles. Esta limitación obstaculiza aplicaciones que requieren soluciones diversas, como descubrir múltiples enfoques algorítmicos, generar suites de pruebas integrales o explorar direcciones creativas. Aunque los algoritmos de Calidad-Diversidad (QD) han abordado con éxito este problema en robótica y diseño de juegos mediante el mantenimiento de archivos de soluciones diversas y de alto rendimiento, su aplicación a los LLM ha sido limitada. Los enfoques anteriores (por ejemplo, QDAIF, LMX) tratan a los LLM como generadores de caja negra fijos, evolucionando únicamente prompts discretos o utilizando LLM como evaluadores sin modificar ningún parámetro neuronal. Esto impide la integración con el paradigma más amplio de neuroevolución, que históricamente evoluciona pesos de red o arquitecturas para descubrir soluciones diversas y de alto rendimiento.

Metodología: El Marco QD-LLM

El artículo propone QD-LLM, un marco para la neuroevolución eficiente en parámetros que une la optimización QD con la generación de LLM mediante la evolución de incrustaciones de prompts (prompt embeddings).

1. Incrustaciones de Prompts Evolucionadas

En lugar de ajustar fino todo el modelo o evolucionar tokens discretos, QD-LLM evoluciona incrustaciones de prompts suaves (soft prompt embeddings)—vectores continuos aprendibles ($p \in \mathbb{R}^{n \times d}$) añadidos al inicio de la entrada.

• Eficiencia en Parámetros: El marco evoluciona una interfaz neuronal compacta de aproximadamente 32,000 parámetros (8 tokens virtuales $\times$ 4096 dimensiones) para dirigir un LLM congelado con más de 70B parámetros.
• Mecanismo: Estas incrustaciones actúan como una codificación indirecta, creando pares clave-valor adicionales en el mecanismo de atención que modifican el flujo de información a través de toda la red.
• Implementación:
  • Para modelos de código abierto (por ejemplo, Llama-3-70B), las incrustaciones se inyectan directamente en la capa de incrustación.
  • Para modelos de API (por ejemplo, GPT-4), se utiliza una aproximación discreta proyectada, donde las incrustaciones continuas se mapean a los tokens de vocabulario más cercanos, con un error de proyección acotado.
• Optimización: El sistema emplea optimización sin gradiente (un principio fundamental de la neuroevolución). Utiliza una fuerza de mutación adaptativa (basada en los principios de CMA-ME) y estimación de gradientes por diferencias finitas para mutaciones conductuales dirigidas.

2. Caracterización Híbrida del Comportamiento

Para organizar el archivo QD, el marco define un descriptor de comportamiento $b(t)$ que combina dos componentes:

• Componente Semántico: Derivado de incrustaciones SBERT reducidas mediante UMAP para capturar la diversidad semántica de alto nivel.
• Componente Explícito: Características específicas de la tarea (por ejemplo, complejidad ciclomática, líneas de código y paradigma algorítmico para código; sentimiento, formalidad y legibilidad para escritura).
• Fusión Híbrida: Estos se combinan mediante concatenación ponderada. El artículo proporciona el Teorema 5, que establece límites formales de cobertura para este descriptor híbrido bajo la suposición de independencia casi total entre los componentes. La validación empírica confirma una baja información mutua (NMI $\approx$ 0.08–0.11), apoyando la garantía teórica de una mejora de cobertura casi multiplicativa.

3. Operadores de Variación Co-evolutivos

El marco emplea operadores que mutan conjuntamente las incrustaciones de prompts y el texto resultante:

• Mutación Conductual Dirigida: Utiliza estimación de gradientes por diferencias finitas para dirigir las incrustaciones hacia regiones poco exploradas del espacio de comportamiento.
• Mutación Exploratoria: Aplica perturbaciones gaussianas para una exploración más amplia.
• Cruce: Interpola incrustaciones entre dos padres y solicita al LLM que combine sus soluciones de texto.

4. Gestión del Archivo

El sistema extiende CVT-MAP-Elites con manejo de incertidumbre inspirado en Extract-QD. Mantiene un búfer de evaluaciones por entrada del archivo, utiliza la mediana de aptitud para comparaciones para manejar la estocasticidad de los LLM, y reevalúa periódicamente a los élites.

Contribuciones Clave

1. Incrustaciones de Prompts Evolucionadas para QD: Un método de optimización sin gradiente para vectores de prompts suaves que permite la dirección conductual sin ajuste fino del modelo. Este enfoque es aplicable tanto a LLM de código abierto (acceso directo) como a modelos de API (aproximación proyectada).
2. Caracterización Híbrida del Comportamiento con Garantías Formales: Una combinación principista de características semánticas y explícitas. El Teorema 5 proporciona límites formales de cobertura bajo independencia casi total, validado empíricamente con baja información mutua normalizada (NMI).
3. Operadores de Variación Co-evolutivos: Nuevos operadores que incluyen mutación conductual dirigida mediante estimación de gradientes por diferencias finitas y cruce en el espacio de incrustaciones.
4. Validación Integral y Utilidad Posterior: Evaluación extensa en benchmarks de código y escritura creativa, demostrando que los archivos diversos mejoran tareas posteriores como la generación de pruebas y la calidad de los datos de ajuste fino.

Resultados Experimentales

El marco fue evaluado en HumanEval (164 problemas), MBPP (974 problemas) y benchmarks de escritura creativa (ROCStories, WritingPrompts) utilizando Llama-3-70B, Mistral-Large y GPT-4-turbo.

• Rendimiento: QD-LLM logró un 41.4% más de puntuación QD y un 46.4% más de cobertura que el estado del arte anterior (QDAIF) en HumanEval ($p < 0.001$, Vargha-Delaney $A = 0.94$).
• Estudios de Ablación: Eliminar la caracterización híbrida del comportamiento redujo el rendimiento en un 18.6% (solo semántico) y un 27.0% (solo explícito). Desactivar la evolución de prompts disminuyó la puntuación QD en un 16.0%.
• Generalización Cruzada entre Modelos: El método superó significativamente a las líneas base en Llama-3, Mistral-Large y GPT-4 (incluso con aproximación proyectada).
• Utilidad Posterior:
  • Generación de Pruebas: Los archivos diversos de QD-LLM descubrieron un 34% más de casos límite en las entradas de prueba en comparación con QDAIF.
  • Ajuste Fino: Los modelos ajustados finamente en archivos de QD-LLM lograron una ganancia de precisión del 8.3% en problemas de HumanEval retenidos en comparación con aquellos entrenados en soluciones de QDAIF.

Significado y Afirmaciones

El artículo afirma establecer la evolución de incrustaciones de prompts como un paradigma efectivo para unir la neuroevolución y los LLM modernos. Al evolucionar una interfaz neuronal compacta (codificación indirecta) en lugar de toda la red, QD-LLM supera las prohibiciones computacionales de la evolución de modelos completos mientras retiene los beneficios de la diversidad neuroevolutiva.

Los autores enfatizan que este trabajo va más allá de tratar a los LLM como cajas negras estáticas, evolucionando en su lugar las señales de condicionamiento que modifican directamente los mecanismos de atención. La utilidad posterior demostrada—específicamente en la generación de casos de prueba diversos y la mejora de la calidad de los datos de ajuste fino—sugiere valor práctico para la ingeniería de software y la augmentación de datos. El trabajo valida que la neuroevolución eficiente en parámetros puede explorar efectivamente los espacios de solución de modelos fundacionales masivos y congelados.