Fine-Tuning a 7B Advisor on Free-Tier GPUs: An Adapter-Handoff Recipe and a Synthetic-Data Reliability Caution

Resumen Técnico: Ajuste Fino de un Asesor de 7B en GPUs de Nivel Gratuito

Planteamiento del Problema
El ajuste fino (fine-tuning) de modelos de lenguaje extensos (LLMs) para dominios especializados, como la asesoría de estudios internacionales, suele estar limitado por las restricciones de recursos de los profesionales en pequeñas instituciones o sectores públicos. Aunque los métodos de eficiencia de parámetros como QLoRA (cuantización de 4 bits + Low-Rank Adaptation) permiten teóricamente el ajuste fino de modelos de 7B en una sola GPU de 16 GB, el despliegue práctico enfrenta dos obstáculos específicos:

1. Restricciones Operativas: Las sesiones de GPU de nivel gratuito (por ejemplo, Kaggle, Google Colab) imponen cuotas estrictas de tiempo de ejecución y semanales. Un proceso de ajuste fino de múltiples épocas para un modelo de 7B suele exceder la duración de una sola sesión, lo que impide su finalización en una sola máquina.
2. Fiabilidad de la Evidencia: Existe una falta de evaluación rigurosa sobre la fiabilidad fáctica de los modelos ajustados con datos sintéticos. Los profesionales suelen depender de métricas basadas en referencias (por ejemplo, BERTScore) calculadas contra los datos de entrenamiento sintéticos, lo cual puede medir la fidelidad a la distribución del generador en lugar de la corrección de la verdad fundamental, pudiendo enmascarar alucinaciones en temas sensibles a políticas.

Metodología
Los autores proponen un enfoque de dos partes: una receta operativa para el entrenamiento entre GPUs y un marco de evaluación riguroso para la fiabilidad de los datos sintéticos.

• Receta de Transferencia de Adaptadores entre GPUs (Cross-GPU Adapter-Handoff):
  Los autores demuestran un flujo de trabajo para completar un ajuste fino QLoRA de tres épocas de Mistral-7B-Instruct-v0.3 a través de dos GPUs de nivel gratuito diferentes (una Tesla P100 seguida de una Tesla T4).

  • Procedimiento: El entrenamiento se pausa al final de una sesión. En lugar de transferir el estado completo del optimizador y del programador (scheduler), solo se guardan y cargan en la segunda máquina los pesos del adaptador LoRA (41.9M de parámetros, ~100 MB).
  • Implementación: La segunda fase reinicializa el optimizador AdamW y el programador de la tasa de aprendizaje. Los autores documentan que este costo de "calentamiento" (warm-up) es insignificante y que el adaptador por sí solo es suficiente para continuar el entrenamiento productivamente, manteniendo el uso pico de VRAM dentro del presupuesto de 16 GB en ambas arquitecturas (15.888 GB en P100; 14.741 GB en T4).

• Datos y Entrenamiento:

  • Datos: Se generó un conjunto de datos sintéticos de 2,676 conversaciones multi-turno entre estudiante y asesor utilizando la API de Gemini 1.0 Pro. Los temas incluyen visas, becas y admisiones.
  • Control de Calidad: El pipeline incluyó validación de esquema, deduplicación y comprobaciones de repetición, pero explícitamente no incluyó una verificación de veracidad frente a fuentes autorizadas.
  • Hiperparámetros: LoRA rank 16, $\alpha=32$, cuantización NF4 de 4 bits, optimizador AdamW de 8 bits y una tasa de aprendizaje de $2 \times 10^{-4}$.

• Protocolo de Evaluación:
  Los autores emplean una evaluación de tres ejes sobre un conjunto de control de 50 prompts:

  1. Métricas Basadas en Referencias: SacreBLEU, ROUGE-L y BERTScore contra las referencias sintéticas de Gemini.
  2. LLM-como-Juez Ciego (Blind LLM-as-Judge): Un juez de una familia de modelos diferente (Claude Sonnet) califica la precisión del dominio y la utilidad sin conocer la fuente del modelo.
  3. Auditoría de Veracidad Verificada por Fuente: Una verificación independiente de un humano de afirmaciones fácticas específicas frente a fuentes gubernamentales y universitarias autorizadas.

Resultados Clave
El estudio arroja un intercambio contraintuitivo entre la fidelidad distributiva y la fiabilidad fáctica:

• Dinámica de Entrenamiento: La pérdida disminuyó de 1.01 a 0.34 a lo largo de las dos fases. La transición entre GPUs mostró una breve meseta consistente con la reinicialización del optimizador, seguida de un descenso de gradiente estable.
• Fidelidad vs. Fiabilidad:
  • Métricas de Referencia: El modelo ajustado mostró una mayor similitud con la distribución de entrenamiento sintética (el F1 de BERTScore aumentó en +0.063).
  • Calidad de la Asesoría: El modelo base sin ajustar fue preferido por el juez ciego (LLM-as-judge) en el 46% de los prompts, comparado con solo el 18% para el modelo ajustado.
  • Veracidad: En temas sensibles a políticas (salud, admisiones, becas), el modelo ajustado produjo cuatro errores fácticos con confianza (por ejemplo, reglas de elegibilidad de Medicare incorrectas, programas de grado inexistentes), mientras que el modelo base produjo cero errores en los mismos prompts.
• Análisis de Causa Raíz: Una auditoría directa de los datos de entrenamiento reveló que los cuatro errores fácticos cometidos por el modelo ajustado ya estaban presentes en el corpus de entrenamiento generado por Gemini. Una auditoría de muestra aleatoria de los datos de entrenamiento indicó que entre el 28% y el 40% de las respuestas sintéticas contenían errores fácticos verificables.

Significancia y Reivindicaciones
El artículo realiza dos contribuciones principales, enmarcadas con una modestia específica respecto a su alcance:

1. Receta Operativa: Los autores proporcionan un método verificado y reproducible para completar el ajuste fino QLoRA de 7B de múltiples épocas en hardware de nivel gratuito mediante la transferencia únicamente del adaptador. Aclaran que esto es una receta de despliegue, no un avance metodológico en optimización, y que la restricción vinculante en estos entornos es la duración de la sesión, no el cómputo agregado.
2. Precaución sobre la Fiabilidad de Datos Sintéticos: El hallazgo central es un resultado de advertencia: el ajuste fino sobre datos sintéticos no verificados puede aumentar la fidelidad de un modelo a la distribución de entrenamiento (mejorando las métricas basadas en referencias) mientras que, simultáneamente, degrada la fiabilidad fáctica.
   • Los autores declaran explícitamente que la caída de la fiabilidad es una propiedad del pipeline de datos (generación sintética no verificada), no del método de ajuste fino ni del procedimiento de transferencia del adaptador.
   • Argumentan que para tareas sensibles a políticas, la evaluación debe incluir señales de veracidad independientes del juicio, ya que las métricas basadas en referencias por sí solas pueden ser engañosas.

Limitaciones y Alcance
Los autores reconocen que el conjunto de datos y la evaluación son enteramente sintéticos, generados por un solo modelo (Gemini 1.0 Pro) y juzgados por un solo juez de LLM. El estudio no pretende la generalizabilidad a todos los dominios o idiomas, ni afirma que el método de ajuste fino sea inherentemente defectuoso, sino que simplemente hereda fielmente los errores de los datos de entrenamiento no verificados. Los artefactos liberados (dataset, adaptador y harness de evaluación) tienen la intención de que la investigación reproduzca estos hallazgos, con advertencias explícitas contra su despliegue para asesoría estudiantil real sin una puerta de control de veracidad adicional.