Resumen Técnico: Análisis de Compensaciones entre Calidad, Latencia y Recursos en un Asistente RAG para Documentación Técnica Usando Adaptación LoRA

Declaración del Problema

La Generación Aumentada por Recuperación (RAG) se ha convertido en el enfoque estándar para fundamentar Modelos de Lenguaje Grande (LLM) en corpus externos, particularmente para asistentes orientados a documentación donde las respuestas deben respaldarse con banderas de configuración específicas, versiones de API o puertas de características. Sin embargo, desplegar tales sistemas implica tensiones directas entre objetivos en competencia: generadores más grandes mejoran la calidad de las respuestas pero aumentan la memoria de inferencia y la latencia; pipelines de recuperación más ricos añaden sobrecarga; y configuraciones de ajuste fino eficiente en parámetros (PEFT) más expresivas alteran los costos de entrenamiento.

La literatura existente a menudo estudia estas dimensiones de forma aislada, centrándose en el diseño de recuperación, aplicaciones generales de LoRA o evaluación estándar de preguntas y respuestas, o trata a LoRA como una técnica monolítica en lugar de un espacio de configuración. Existe una falta de análisis empírico sistemático sobre cómo configuraciones específicas de LoRA (rango, módulos objetivo, tamaño del modelo base) interactúan con la calidad de la recuperación, la latencia y el costo de entrenamiento dentro de una arquitectura RAG fija para documentación técnica.

Metodología

Construcción del Punto de Referencia

Los autores construyeron un punto de referencia verificado manualmente de 5.144 pares de preguntas y respuestas derivados de la documentación oficial de Kubernetes. El conjunto de datos se creó mediante un proceso híbrido: 500 pares fueron escritos a mano, y el resto fueron redactados por un agente LLM (GPT-5.4) y posteriormente verificados manualmente. Los pares se categorizan en EXACTOS (que requieren reproducción literal de banderas, rutas o versiones) y NORMALES (respuestas factuales que toleran parafraseo). Los datos se dividen en conjuntos de entrenamiento (3.614), evaluación (745) y prueba (785).

Pipeline RAG

Se empleó un pipeline de recuperación híbrida fijo en todos los experimentos para aislar la contribución del generador:

1. Recuperación: Un enfoque híbrido que combina recuperación densa (incrustaciones BGE-M3) y recuperación dispersa nativa (canal disperso BGE-M3), fusionados mediante Fusión Recíproca de Rangos (RRF).
2. Reordenamiento: Un reordenador cross-encoder preentrenado (BAAI/bge-reranker-v2-m3).
3. Generación: Se utilizaron dos modelos base ajustados a instrucciones: Llama-3.2-3B-Instruct y Llama-3.1-8B-Instruct.

Diseño Experimental

El estudio ablató 20 configuraciones de LoRA en los dos modelos base. El espacio de configuración varió dos factores:

• Rango ($r$): $\{4, 8, 16, 32, 64\}$.
• Módulos Objetivo:
  • $qv\_only$: Adapta solo las proyecciones de atención de consulta ($q$) y valor ($v$).
  • $full\_attention$: Adapta las cuatro proyecciones de atención principales ($q, k, v, o$).

Dos líneas base no adaptadas (3B y 8B) sirvieron como controles. Todos los modelos se entrenaron con hiperparámetros fijos (8 épocas, tasa de aprendizaje $2 \times 10^{-5}$, precisión bf16) en un único nodo de hardware (NVIDIA A100 40GB) para garantizar métricas de costo comparables.

Métricas de Evaluación

El rendimiento se evaluó en una frontera de Pareto multiobjetivo utilizando:

• Calidad: Puntuación F1 a nivel de token (principal), paso@4 de fundamentación por juez LLM, y paso@4 de corrección.
• Costo: Latencia de inferencia, VRAM pico de inferencia, tiempo total de entrenamiento y VRAM pico de entrenamiento.
• Rigor Estadístico: Todas las estimaciones puntuales incluyen intervalos de confianza del 95% mediante bootstrap (1.000 remuestreos). Se utilizaron pruebas de bootstrap apareadas para comparaciones de $\Delta$F1.

Resultados Clave

1. Ventaja Estructural de la Adaptación $qv\_only$

En cada frontera de Pareto examinada (F1 vs. latencia, F1 vs. memoria de inferencia, F1 vs. costo de entrenamiento), los puntos no dominados fueron consistentemente dominados por adaptadores $qv\_only$.

• Los adaptadores $full\_attention$ nunca aparecieron en la frontera de Pareto de entrenamiento y ganaron a lo sumo 2 de cada 10 regímenes de ablación de recuperación/prompting en fundamentación.
• Control Emparejado por Parámetros: Para descartar la posibilidad de que $qv\_only$ gane simplemente porque tiene más parámetros por proyección, los autores compararon $qv\_only$ en rango $r$ contra $full\_attention$ en rango $r/2$ (conteo total de parámetros igual). El esquema $qv\_only$ permaneció superior o estadísticamente indistinguible en todos los casos, con un $\Delta$F1 medio de $+0.007$ [0.001, 0.012]. Esto sugiere que la ventaja es estructural, probablemente porque adaptar las proyecciones $q$ y $v$ es suficiente para refinar la selección de contexto y el reponderado en un pipeline RAG fijo, mientras que adaptar $k$ y $o$ añade costo sin ganancia proporcional.

2. El Tamaño del Modelo Base Define el Régimen Operativo

La elección entre modelos de 3B y 8B determina principalmente el régimen operativo (presupuesto de recursos) en lugar del techo de calidad alcanzable.

• La configuración adaptada 3B más fuerte (3B r64 $qv\_only$) logró un F1 de 0.597, que es estadísticamente indistinguible de la línea base 8B no adaptada (F1 0.595, $\Delta$F1 $\in [-0.021, +0.026]$).
• Esta configuración 3B cuesta aproximadamente 9 GB menos en VRAM de inferencia que la línea base 8B.
• Aunque el modelo 8B ($r64$ $qv\_only$) logró el F1 absoluto más alto (0.617), la ganancia sobre el modelo adaptado 3B fue pequeña ($\Delta$F1 +0.020) y conllevó una penalización significativa de recursos.

3. Compensación entre Fundamentación y F1

La configuración que maximiza el F1 (8B r64 $qv\_only$) no maximizó la fundamentación. La puntuación de fundamentación más alta fue lograda por 8B r16 $qv\_only$ (F1 0.615 vs. 0.617). Los autores señalan que F1 y fundamentación no son intercambiables; la configuración óptima depende de si el despliegue prioriza el acuerdo de coincidencia exacta o el soporte estricto por contexto recuperado.

4. Robustez en Recuperación y Prompting

El estudio probó 10 regímenes diferentes variando estrategias de recuperación (solo densa, solo dispersa, híbrida BM25, reordenador desactivado) y modos de prompting (neutro vs. fundamentado explícito).

• El esquema $qv\_only$ produjo consistentemente la mejor configuración de F1 en 10/10 regímenes.
• El esquema $qv\_only$ produjo la mejor configuración de fundamentación en 8/10 regímenes.
• Aunque el rango óptimo específico o el tamaño del modelo cambiaron ligeramente, la dominancia estructural del esquema de adaptación $qv\_only$ permaneció estable.

Significado y Contribuciones

El artículo afirma cuatro contribuciones principales:

1. Un Punto de Referencia Verificado Manualmente: Un punto de referencia RAG multi-criterio libre de licencias sobre documentación de Kubernetes diseñado para evaluar compensaciones calidad-costo.
2. Estudio Sistemático de Configuración: Una ablación estructurada de configuraciones de LoRA dentro de un pipeline de recuperación híbrida fijo, proporcionando inferencia estadística sobre todas las compensaciones reportadas.
3. Control Emparejado por Parámetros: Una comparación que aísla el efecto estructural de la elección del módulo objetivo del efecto del conteo de parámetros, demostrando que $qv\_only$ es estructuralmente superior para RAG de documentación.
4. Artefactos Reproducibles: La publicación del punto de referencia, adaptadores seleccionados y código para servir como punto de partida para trabajos futuros sobre ajuste fino aumentado por recuperación.

Los autores concluyen que para RAG orientado a documentación, el tamaño del modelo base establece el régimen, pero el esquema del adaptador determina la eficiencia. La adaptación LoRA dirigida (específicamente $qv\_only$) permite que modelos más pequeños alcancen la calidad de líneas base no adaptadas más grandes a una fracción del costo, y la adaptación más amplia (atención completa) generalmente no se justifica por las ganancias marginales de calidad en este dominio específico.