Fine-Tuning a 7B Advisor on Free-Tier GPUs: An Adapter-Handoff Recipe and a Synthetic-Data Reliability Caution

Resumo Técnico: Ajuste Fino de um Consultor 7B em GPUs de Camada Gratuita

Definição do Problema
O ajuste fino (fine-tuning) de grandes modelos de linguagem (LLMs) para domínios especializados, como consultoria de estudos internacionais, é frequentemente limitado pelas restrições de recursos de profissionais em pequenas instituições ou setores públicos. Embora métodos de eficiência de parâmetros como o QLoRA (quantização de 4 bits + Low-Rank Adaptation) permitam teoricamente que modelos 7B sejam ajustados em uma única GPU de 16 GB, a implementação prática enfrenta dois obstáculos específicos:

1. Restrições Operacionais: Sessões de GPU de camada gratuita (ex: Kaggle, Google Colab) impõem cotas rígidas de tempo de execução (wall-clock) e semanais. Uma execução de ajuste fino de múltiplos épocas para um modelo 7B frequentemente excede a duração de uma única sessão, impedindo a conclusão em uma única máquina.
2. Confiabilidade Evidencial: Há uma falta de avaliação rigorosa sobre a confiabilidade factual de modelos ajustados com dados sintéticos. Profissionais frequentemente dependem de métricas baseadas em referências (ex: BERTScore) calculadas contra dados de treinamento sintéticos, o que pode medir a fidelidade à distribuição do gerador em vez da correção em relação à verdade fundamental (ground-truth), potencialmente mascarando alucinações em tópicos sensíveis a políticas.

Metodologia
Os autores propõem uma abordagem de duas partes: uma receita operacional para treinamento entre GPUs e um framework de avaliação rigoroso para a confiabilidade de dados sintéticos.

• Receita de Handoff de Adaptador entre GPUs:
  Os autores demonstram um fluxo de trabalho para completar um ajuste fino de três épocas via QLoRA de um Mistral-7B-Instruct-v0.3 através de duas GPUs de camada gratuita diferentes (uma Tesla P100 seguida por uma Tesla T4).

  • Procedimento: O treinamento é pausado ao final de uma sessão. Em vez de transferir o estado completo do otimizador e do scheduler, apenas os pesos do adaptador LoRA (41,9 milhões de parâmetros, ~100 MB) são salvos e carregados na segunda máquina.
  • Implementação: A segunda fase reinicializa o otimizador AdamW e o scheduler de taxa de aprendizado. Os autores documentam que esse custo de "warm-up" é negligenciável e que o adaptador sozinho é suficiente para continuar o treinamento de forma produtiva, mantendo o uso de pico de VRAM dentro do orçamento de 16 GB em ambas as arquiteturas (15,888 GB na P100; 14,741 GB na T4).

• Dataset e Treinamento:

  • Dados: Um dataset sintético de 2.676 conversas de múltiplos turnos entre aluno e consultor foi gerado usando a API do Gemini 1.0 Pro. Os tópicos incluem vistos, bolsas de estudo e admissões.
  • Controle de Qualidade: O pipeline incluiu validação de esquema, deduplicação e verificações de repetição, mas explicitamente não incluiu uma verificação de factualidade contra fontes autoritativas.
  • Hiperparâmetros: LoRA rank 16, $\alpha=32$, quantização NF4 de 4 bits, otimizador AdamW de 8 bits, e uma taxa de aprendizado de $2 \times 10^{-4}$.

• Protocolo de Avaliação:
  Os autores empregam uma avaliação de três eixos em um conjunto de teste (held-out) de 50 prompts:

  1. Métricas Baseadas em Referência: SacreBLEU, ROUGE-L e BERTScore contra as referências sintéticas do Gemini.
  2. LLM-as-Judge Cego: Um juiz de uma família de modelos diferente (Claude Sonnet) pontua a precisão do domínio e a utilidade sem conhecer a origem do modelo.
  3. Auditoria de Factualidade Verificada por Fonte: Uma verificação independente de humanos de alegações fatuais específicas contra fontes governamentais e universitárias autoritativas.

Resultos Principais
O estudo produz um trade-off contraintuitivo entre fidelidade distributiva e confiabilidade factual:

• Dinâmica de Treinamento: A perda (loss) diminuiu de 1,01 para 0,34 ao longo das duas fases. A transição entre GPUs mostrou um breve platô consistente com a reinicialização do otimizador, seguido por um gradiente descendente estável.
• Fidelidade vs. Confiabilidade:
  • Métricas de Referência: O modelo ajustado mostrou melhor similaridade com a distribuição sintética de treinamento (o BERTScore F1 aumentou em +0,063).
  • Qualidade de Consultoria: O juiz cego (LLM-as-judge) preferiu o modelo base não ajustado em 46% dos prompts, comparado a apenas 18% para o modelo ajustado.
  • Factualidade: Em tópicos sensíveis a políticas (saúde, admissões, bolsas de estudo), o modelo ajustado produziu quatro erros factuais confiantes (ex: regras de elegibilidade do Medicare incorretas, programas de graduação inexistentes), enquanto o modelo base produziu zero erros nos mesmos prompts.
• Análise de Causa Raiz: Uma auditoria direta dos dados de treinamento revelou que os quatro erros factuais cometidos pelo modelo ajustado já estavam presentes no corpus de treinamento gerado pelo Gemini. Uma auditoria de amostra aleatória dos dados de treinamento indicou que 28–40% das respostas sintéticas continham erros factuais verificáveis.

Significância e Alegações
O artigo apresenta duas contribuições primárias, formuladas com modéstia específica quanto ao seu escopo:

1. Receita Operacional: Os autores fornecem um método verificado e reproduzível para completar o ajuste fino QLoRA de 7B em múltiplas épocas em hardware de camada gratuita, realizando o handoff apenas do adaptador. Eles esclarecem que isso é uma receita de implantação, não um avanço metodológico em otimização, e que a restrição vinculante nesses ambientes é a duração da sessão, não o processamento agregado.
2. Cautela sobre a Confiabilidade de Dados Sintéticos: O achado central é um resultado de cautela: realizar o ajuste fino em dados sintéticos não verificados pode aumentar a fidelidade de um modelo à distribuição de treinamento (melhorando as métricas baseadas em referência) enquanto, simultaneamente, degrada a confiabilidade factual.
   • Os autores afirmam explicitamente que a queda de confiabilidade é uma propriedade do pipeline de dados (geração sintética não verificada), não do método de ajuste fino ou do procedimento de handoff do adaptador.
   • Eles argumentam que, para tarefas sensíveis a políticas, a avaliação deve incluir sinais de factualidade independentes de julgamento, pois métricas baseadas em referência sozinhas podem ser enganosas.

Limitações e Escopo
Os autores reconhecem que o dataset e a avaliação são inteiramente sintéticos, gerados por um único modelo (Gemini 1.0 Pro) e julgados por um único juiz de LLM. O estudo não pretende generalizar para todos os domínios ou idiomas, nem afirma que o método de ajuste fino seja inerentemente falho — apenas que ele herda fielmente os erros dos dados de treinamento não verificados. Os artefatos liberados (dataset, adaptador e harness de avaliação) destinam-se à pesquisa para reproduzir esses achados, com avisos explícitos contra a implantação para consultoria estudantil real sem o devido controle de factualidade.