From Baselines to Preferences: A Comparative Study of LoRA/QLoRA and Preference Optimization for Mental Health Text Classification

Resumo Técnico: De Linhas de Base a Preferências

1. O Problema

A classificação de texto em saúde mental tem adotado rapidamente métodos modernos de adaptação de modelos de linguagem. No entanto, existe uma lacuna significativa na orientação prática sobre qual estratégia de otimização utilizar, quando e por que.

• Desafio: A seleção de modelos para saúde mental tornou-se cada vez mais um problema de otimização, não apenas de arquitetura. Pequenas melhorias agregadas podem esconder grandes diferenças em robustez, comportamento em classes minoritárias e sensibilidade à configuração de treinamento.
• Contexto: Práticas atuais oferecem rotas heterogêneas (árvores de decisão, codificadores pré-treinados, fine-tuning eficiente em parâmetros como LoRA/QLoRA e otimização baseada em preferências como DPO/ORPO/KTO), mas são frequentemente relatadas em contextos experimentais separados, dificultando a distinção entre ganhos estruturais e artefatos de configuração.

2. Metodologia

O estudo propõe uma comparação sistemática sob um protocolo unificado, estruturada em três fases progressivas para isolar o impacto de intervenções específicas:

• Fase 1: Linhas de Base (Baselines)
  • Modelos: XGBoost (modelo clássico de árvores de decisão) e uma família de codificadores BERT (bert-base-uncased, distilbert-base-uncased, roberta-base).
  • Configuração: Avaliação em múltiplos tamanhos de janela de contexto (chunking) e comparação entre condições "Vanilla" (padrão) e "Otimizada" (com inferência escalada por temperatura).
• Fase 2: Fine-Tuning Supervisionado (SFT) com LoRA/QLoRA
  • Abordagem: Adaptação eficiente de parâmetros em modelos de linguagem grandes (LLMs).
  • Variáveis Testadas:
    • Objetivos: Discriminativo (predição direta de rótulos) vs. Generativo (geração de texto com restrições).
    • Esquemas de Saída: Apenas rótulo, confiança do rótulo e justificativa do rótulo.
    • Otimizadores: AdamW, Adafactor, Adam8bit.
    • Adaptadores: LoRA e QLoRA (com quantização).
• Fase 3: Otimização Baseada em Preferências
  • Métodos: DPO (Direct Preference Optimization), ORPO (Odds Ratio Preference Optimization) e KTO (Kahneman-Tversky Optimization).
  • Intervenção Crítica: Comparação entre treinamento "Vanilla" e treinamento Rebalanceado (ajuste para corrigir desequilíbrio de classes), testando se a intervenção no equilíbrio de dados altera o comportamento dos métodos.
• Dataset e Tarefa:
  • Utilização do corpus DAIC-WOZ (entrevistas clínicas simuladas).
  • Tarefa Principal: Classificação conjunta de 4 classes baseada no framework PHQ-4 (combinação de PHQ-2 para depressão e GAD-2 para ansiedade).
  • Métricas: F1 Macro, F1 Ponderado, Precisão Macro e Recall Macro.

3. Contribuições Principais

1. Narrativa de Otimização Clara: O artigo não introduz um novo benchmark de dados, mas fornece um guia empírico reprodutível sobre como as escolhas de otimização afetam a classificação em saúde mental.
2. Isolamento de Variáveis: Ao manter o protocolo de avaliação constante enquanto varia a arquitetura, o objetivo e a estratégia de balanceamento, o estudo atribui ganhos de desempenho a intervenções concretas em vez de confusão entre famílias de modelos.
3. Análise de Estabilidade vs. Pico: O estudo relata tanto o desempenho máximo (best-case) quanto o desempenho médio (mean behavior), destacando que a estabilidade da configuração é tão crucial quanto o pico de desempenho para aplicações práticas.
4. Diretrizes Práticas: Oferece um roteiro para pesquisadores e praticantes: começar com bases transparentes, aplicar ajuste controlado e usar otimização baseada em preferências apenas onde os benefícios são consistentes.

4. Resultados Chave

• Linhas de Base (Codificadores):

  • O BERT-base-uncased (otimizado com temperatura) foi o codificador mais forte e estável, superando XGBoost e outros modelos da família BERT (DistilBERT, RoBERTa).
  • O tamanho da janela de contexto é um fator de primeira ordem; o BERT atingiu seu pico em janelas médias/grandes (384 tokens), enquanto modelos menores como DistilBERT degradaram-se em janelas maiores.

• SFT (LoRA/QLoRA):

  • Objetivo Generativo > Discriminativo: Configurações generativas superaram consistentemente as discriminativas em desempenho máximo e médio.
  • Esquema de Saída: O esquema "apenas rótulo" (label only) foi o mais robusto. Esquemas que exigem geração de justificativas ou confiança introduziram variabilidade e instabilidade.
  • Otimizadores: O Adafactor demonstrou maior estabilidade média, enquanto o Adam8bit produziu picos altos, mas com menor consistência.
  • LoRA vs. QLoRA: Ambos foram competitivos, com o QLoRA mostrando ligeira vantagem em picos de desempenho no modo Vanilla.

• Otimização Baseada em Preferências:

  • ORPO é Superior: O ORPO foi consistentemente o método mais confiável, superando significativamente o DPO e o KTO.
  • Impacto do Rebalanceamento: A intervenção de reequilíbrio de classes foi decisiva para o ORPO e o DPO (especialmente com QLoRA), elevando drasticamente o desempenho do DPO (de ~0.21 para ~0.34 F1).
  • KTO Ineficaz: O KTO mostrou desempenho muito baixo e não respondeu a intervenções de reequilíbrio, sugerindo limitações metodológicas para esta tarefa específica.
  • Melhor Resultado Global: A configuração ORPO + Rebalanceamento (com QLoRA) alcançou o melhor desempenho geral (F1 Macro = 0.3798), superando todas as linhas de base e SFT.

• Transferência para Saídas Secundárias (Ansiedade e Depressão):

  • A hierarquia de desempenho observada na tarefa principal manteve-se nas tarefas derivadas binárias. Modelos de codificador otimizados e ORPO reequilibrado generalizaram melhor, enquanto o KTO permaneceu fraco.

5. Significado e Conclusão

O estudo conclui que o desempenho em classificação de saúde mental é altamente dependente do método de otimização, e não apenas da arquitetura do modelo.

• Conclusão Prática: Não existe uma "bala de prata". A escolha deve seguir uma narrativa lógica:
  1. Estabelecer uma linha de base transparente (ex: BERT otimizado).
  2. Aplicar fine-tuning supervisionado controlado (preferencialmente generativo com LoRA/QLoRA e Adafactor).
  3. Utilizar otimização baseada em preferências seletivamente, preferencialmente com ORPO e rebalanceamento de dados, pois esses métodos oferecem ganhos demonstráveis e consistentes, ao contrário de DPO (sensível ao balanceamento) e KTO (ineficaz neste contexto).

Este trabalho fornece um framework empírico para que a comunidade de NLP em saúde mental selecione estratégias de treinamento robustas, evitando a armadilha de buscar apenas pontuações máximas isoladas sem considerar a estabilidade e a sensibilidade à configuração.