Resumen Técnico: Más allá del Prompt: Evaluación de Estrategias de Conocimiento de Dominio para la Optimización de LLM de Alta Dimensionalidad en Ingeniería de Software

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado eficacia en la generación de muestras de "arranque en caliente" (warm start) para tareas de optimización de ingeniería de software (SE), reduciendo significativamente el presupuesto de etiquetado requerido para el aprendizaje activo. Sin embargo, existe una "barrera dimensional" crítica: mientras que los LLMs logran un rendimiento superior en problemas de baja dimensionalidad (≤11 características), su efectividad colapsa en problemas de alta dimensionalidad (>11 características), donde los métodos bayesianos tradicionales (por ejemplo, Procesos Gaussianos) siguen siendo superiores.

Este fallo se atribuye a las limitaciones de los datos de entrenamiento. Los LLMs sobresalen en problemas comunes bien representados en sus corpora de entrenamiento, pero tienen dificultades con tareas de SE de alta dimensionalidad y especializadas (por ejemplo, configuración de la nube, procesos de software aeroespacial) donde las soluciones óptimas públicas son escasas. Sin suficientes datos de entrenamiento, los LLMs no pueden aprender las complejas interacciones de características que caracterizan los espacios de alta dimensionalidad. Además, como sugieren las proyecciones, los LLMs podrían agotar los datos de texto disponibles para 2028, por lo que los dominios de optimización con escasez de datos se están volviendo cada vez más críticos. El problema central es determinar cómo la integración sistemática del conocimiento de dominio —ya sea de expertos humanos o de razonamiento automatizado— puede cerrar esta brecha y permitir que los LLMs generen arranques en caliente efectivos para la optimización de alta dimensionalidad.

Metodología

El estudio propone y evalúa cuatro arquitecturas distintas diseñadas para incorporar el conocimiento de dominio en la generación de arranques en caliente de LLM. Estos enfoques van desde estrategias centradas en el humano hasta modelos totalmente automatizados, evaluados en el repositorio MOOT de conjuntos de datos de optimización de SE estratificados por dimensionalidad (Baja: <6 características, Media: 6–11 características, Alta: >11 características).

1. Prompting de Conocimiento de Dominio con Humano en el Bucle (H-DKP)

Este enfoque aprovecha a expertos humanos para verificar y refinar restricciones de forma iterativa.

• Protocolo: Un sprint de refinamiento iterativo asíncrono de 10 días.
• Mecanismo: El LLM genera un "Estado de Creencia" inicial de las restricciones. Los expertos las critican vía email, centrándose en los "Fallos Más Confusos" (configuraciones que el LLM predijo como óptimas pero que tuvieron un mal desempeño).
• Proceso: Los expertos responden a una pregunta específica: "¿Qué regla de dominio le falta al modelo que explique este fallo?". Su retroalimentación es analizada y añadida al contexto del prompt para el día siguiente, evolucionando el modelo mental del dominio del LLM.
• Restricción: La contratación se limita a conjuntos de datos donde los Expertos en la Materia (SMEs) son accesibles a través de la red académica de los autores.

2. Prompting Multietapa Adaptativo (AMP)

Este método descompone el proceso de generación en un pipeline de razonamiento secuencial para reducir las inconsistencias lógicas comunes en el prompting de un solo paso (single-shot).

• Etapa 1 (Análisis): El LLM analiza metadatos y ejemplos de pocos disparos (few-shot) para identificar características influyentes, compensaciones (tradeoffs) y direcciones de mejora.
• Etapa 2 (Descubrimiento de Restricciones): El modelo infiere restricciones duras explícitas (reglas inviolables) y restricciones blandas (heurísticas).
• Etapa 3 (Generación Restringida): El LLM genera configuraciones que se adhieren estrictamente a las restricciones y características priorizadas descubiertas.
• Etapa 4 (Autovalidación): El LLM actúa como crítico, revisando las configuraciones generadas frente al conjunto de restricciones y revisando las violaciones.
• Ablación: El estudio prueba pipelines de 2, 3 y 4 etapas para aislar el impacto de cada paso de razonamiento.

3. Refinamiento Progresivo Consciente de la Dimensión (DAPR)

Este enfoque aborda la complejidad de alta dimensionalidad optimizando en espacios de características reducidos y expandiendo progresivamente las dimensiones.

• Ranking de Características: La importancia de las características se calcula mediante un conjunto de coeficientes de Spearman, información mutua e importancia de Random Forest, normalizados y promediados.
• Expansión Progresiva: El algoritmo se inicializa con las $k$ características principales. Se solicita al LLM que genere configuraciones usando solo estas características.
• Anclaje: Los ejemplos generados se mapean a los vecinos más cercanos en el conjunto de datos completo para su evaluación. Se rastrea la mejor configuración y el espacio de características se expande añadiendo las siguientes $s$ características más importantes, ancladas a valores de la mejor configuración actual.
• Objetivo: Guiar al LLM a través del espacio de búsqueda, evitando que se vea abrumado por la dimensionalidad completa de inmediato.

4. Enfoque Híbrido de Conocimiento-Modelo (HKMA)

Esta estrategia sintetiza el reconocimiento estadístico (statistical scouting) con la Generación Aumentada por Recuperación (RAG) para aprovechar tanto los patrones basados en datos como la comprensión semántica.

• Fase 1 (Reconocimiento Estadístico): Un Estimador de Parzen Estructurado en Árbol (TPE) realiza una exploración rápida de bajo presupuesto ($B_{scout}=10$) para identificar regiones de alto rendimiento.
• Fase 2 (Prios Empíricos): Se analiza la distribución de las configuraciones de mejor desempeño para extraer "Prios Empíricos" (por ejemplo, tendencias direccionales, condiciones de frontera).
• Fase 3 (Síntesis RAG): Estos prios sirven como consultas para recuperar documentación de dominio relevante y literatura académica de un almacén vectorial.
• Generación: El LLM es instruido para sintetizar configuraciones que satisfagan tanto la evidencia estadística observada como las explicaciones semánticas recuperadas.

Métricas de Evaluación y Baselines

• Baselines: Muestreo Aleatorio, Modelo de Proceso Gaussiano (UCB_GPM) y Warm Start Estándar de LLM (prompting de pocos disparos con 4 ejemplos).
• Métrica Primaria: Distancia de Chebyshev hacia la solución óptima (normalizada a [0,1]), midiendo la proximidad al óptimo teórico.
• Métricas Secundarias: Diversidad de ejemplos generados (Distancia Euclidiana Media entre Pares) y Costo Computacional (tokens de API).
• Análisis Estadístico: Los resultados se clasifican utilizando la prueba de Diferencia de Tamaño de Efecto de Scott-Knott (ESD) con el Delta de Cliff para asegurar que las diferencias sean estadísticamente significativas y prácticamente significativas.

Contribuciones Clave

1. Identificación de la Barrera Dimensional: El documento documenta sistemáticamente el colapso del rendimiento de los LLM en tareas de optimización de SE de alta dimensionalidad (>11 características), contrastándolo con su éxito en tareas de baja dimensionalidad.
2. Taxonomía de Integración de Conocimiento: Propone y define cuatro estrategias complementarias (H-DKP, AMP, DAPR, HKMA) para inyectar conocimiento de dominio en los LLM, moviéndose desde el humano en el bucle hasta modelos híbridos totalmente automatizados.
3. Marcos Metodológicos:
   • Un protocolo asíncrono iterativo para extraer el conocimiento tácito del experto (H-DKP).
   • Un pipeline de razonamiento multietapa para forzar la adherencia a las restricciones (AMP).
   • Un algoritmo de refinamiento progresivo para navegar espacios de búsqueda de alta dimensionalidad (DAPR).
   • Un marco híbrido que combina el reconocimiento estadístico con la recuperación semántica (HKMA).
4. Plan de Evaluación Riguroso: El estudio describe un plan de evaluación exhaustivo utilizando el repositorio MOOT, estratificado por dimensionalidad, con pruebas estadísticas robustas (Scott-Knott/Delta de Cliff) para validar las mejoras sobre los baselines establecidos.

Resultados

Nota: Como este documento es una propuesta (indicado por las secciones de "Preguntas de Investigación", "Plan de Análisis" y "Plan de Ejecución"), no contiene resultados experimentales finales ni conclusiones empíricas sobre qué método funcionó mejor.

El documento traza el plan para evaluar estos métodos contra la "barrera dimensional". Hipotetiza que:

• El feedback del humano en el bucle (H-DKP) proporcionará ganancias estadísticamente significativas sobre los métodos automatizados, particularmente en dominios con escasos datos públicos.
• El razonamiento estructurado (AMP) y el refinamiento progresivo (DAPR) mitigarán el colapso de rendimiento observado en tareas de alta dimensionalidad en comparación con el prompting de un solo paso estándar.
• El enfoque híbrido (HKMA) cerrará eficazmente la brecha entre la comprensión semántica del LLM y la precisión cuantitativa de los métodos bayesianos.

El estudio establece explícitamente que los estudios humanos cumplirán con las políticas de la Junta de Revisión Institucional (IRB) y que el análisis de H-DKP se restringirá a los conjuntos de datos donde la contratación de expertos sea exitosa sin deserción.

Significación y Reivindicaciones

El documento afirma que ningún trabajo previo ha explorado sistemáticamente si la inyección de conocimiento específico del dominio puede superar las limitaciones de los LLM en dominios de optimización de alta dimensionalidad y con escasez de datos.

La significación de este trabajo radica en su potencial para:

• Extender la Utilidad de los LLM: Permitir que los LLM funcionen eficazmente como guías heurísticas para la optimización en tareas de SE complejas y del mundo real (por ejemplo, configuración de software, ajuste de hiperparámetros) donde actualmente fallan.
• Abordar la Escasez de Datos: Proporcionar una vía para la optimización en dominios donde los datos de entrenamiento públicos se han agotado o son inexistentes, una preocupación crítica dadas las proyecciones de agotamiento de los datos de entrenamiento de los LLM para 2028.
• Reducir Costos: Ofrecer estrategias para generar arranques en caliente de alta calidad con costos de ejecución mínimos, abordando el gasto prohibitivo de obtener etiquetas de verdad fundamental (ground truth) en ingeniería de software.
• Unir al Humano y a la IA: Demostrar cómo el conocimiento tácito humano puede integrarse sistemáticamente con la IA para resolver problemas que ninguno de los dos puede resolver por sí solo, yendo más allá del debate de si los LLM son "asistenciales" o "autoritativos" hacia un modelo donde actúan como optimizadores guiados.

Los autores mantienen una postura modesta, enmarcando el trabajo como una evaluación de estrategias para determinar si la integración de conocimiento estructurado permite a los LLM generar arranques en caliente efectivos, en lugar de reclamar que ya se ha encontrado una solución definitiva.