CLSGen: A Dual-Head Fine-Tuning Framework for Joint Probabilistic Classification and Verbalized Explanation

1. O Problema

O avanço dos Modelos de Linguagem de Grande Escala (LLMs) trouxe potencial para aplicações complexas em domínios de alto risco, como saúde e biomedicina. No entanto, existem duas barreiras críticas para sua adoção prática:

• Falta de Estimativas Probabilísticas Confiáveis: LLMs modernos são excelentes em gerar explicações verbais, mas têm dificuldade em fornecer probabilidades quantitativas confiáveis (confiança do modelo).
• Colapso Linguístico e Esquecimento Catastrófico: Métodos tradicionais de fine-tuning (ajuste fino) para tarefas de classificação (usando apenas uma camada de saída para previsão de rótulo) tendem a degradar severamente a capacidade do modelo de gerar texto. O modelo perde sua habilidade de produzir explicações coerentes, tornando-se inútil para cenários onde a interpretabilidade é essencial.
• Inconsistência: Mesmo quando o modelo gera texto, muitas vezes há uma desconexão entre a classificação predita e a justificativa verbal fornecida.

2. Metodologia: O Framework CLSGen

Os autores propõem o CLSGen, um novo framework de ajuste fino projetado para tarefas de classificação binária que resolve o dilema entre precisão probabilística e geração de texto.

Arquitetura e Treinamento

O framework utiliza uma arquitetura de dupla cabeça (dual-head) sobre um modelo base decoder-only (ex: Llama-3.1-8B):

1. Cabeça de Geração (LM Head): Mantém a capacidade de geração de texto autoregressiva. É treinada para gerar uma sequência que inclui a explicação (racional) seguida pelo rótulo verbalizado (ex: "Classificação: 1: morte").
2. Cabeça de Classificação (CLS Head): Uma camada adicional (MLP com função de ativação Sigmoid) que extrai a representação do último token de entrada para prever diretamente o rótulo binário (0 ou 1) e fornecer uma probabilidade quantitativa.

Função de Perda (Loss Function):
O treinamento é realizado de forma conjunta, minimizando a soma de duas funções de perda:
$$\mathcal{L}_{total} = \mathcal{L}_{gen} + \mathcal{L}_{cls}$$

• $\mathcal{L}_{gen}$: Perda de modelagem de linguagem causal (garante a qualidade da explicação).
• $\mathcal{L}_{cls}$: Perda de classificação cruzada (garante a precisão da probabilidade).
• O modelo utiliza LoRA (Low-Rank Adaptation) para ajuste eficiente dos parâmetros, otimizando tanto a cabeça de classificação quanto os parâmetros adaptativos do modelo base.

Construção de Dados

Para garantir que as explicações geradas estejam alinhadas com os rótulos verdadeiros, os autores empregam uma estratégia de construção de dados inspirada em aprendizado fracamente supervisionado:

• Um LLM externo gera explicações e previsões para os dados de entrada.
• Apenas os pares (entrada, explicação, rótulo) onde a explicação é válida e a previsão do LLM coincide com o rótulo verdadeiro (ground-truth) são mantidos no conjunto de treinamento.
• Isso cria um conjunto de dados aumentado $T = \{(x_i, y_i, e_i)\}$, onde $e_i$ é a explicação justificativa.

3. Contribuições Principais

1. Arquitetura Dual-Head: Uma solução inovadora que permite a um único modelo fornecer simultaneamente uma estimativa de probabilidade quantitativa robusta e uma explicação textual coerente, evitando o colapso linguístico.
2. Métrica de Alinhamento (AUROC-Alignment): Proposição de uma nova métrica para medir a consistência entre a saída probabilística da cabeça de classificação e o rótulo verbalizado gerado pelo modelo de linguagem.
3. Validação Empírica de Colapso: O estudo demonstra empiricamente que o ajuste fino tradicional para classificação destrói a capacidade de geração de texto (colapso linguístico) após poucos epochs, justificando a necessidade de uma abordagem híbrida.
4. Desempenho em Contextos Longos: O framework foi testado em benchmarks desafiadores com contextos longos (notas de alta hospitalar), onde modelos existentes frequentemente falham.

4. Resultados Experimentais

O CLSGen foi avaliado em dois conjuntos de dados principais: LCD benchmark (previsão de mortalidade de pacientes após alta hospitalar) e CliniFact (verificação de alegações de pesquisa clínica).

• Desempenho de Classificação:

  • O CLSGen superou consistentemente métodos de inference-only (como self-consistency e previsão de rótulo direto) e modelos CNN tradicionais.
  • Obteve os melhores resultados em AUROC (0.8586 no LCD 30 dias e 0.9457 no CliniFact), indicando superior capacidade de estimativa probabilística.
  • Mantém pontuações de F1 competitivas, superando a CNN em todos os cenários.

• Consistência e Qualidade de Texto:

  • Parsabilidade: O modelo manteve uma taxa de saída parseável > 97%, provando que a estrutura do texto foi preservada.
  • Alinhamento (AUROC-Alignment): Pontuações entre 0.95 e 0.98, indicando forte concordância entre a probabilidade calculada e o rótulo verbalizado.
  • Coerência Interna (LLM-as-a-Judge): Em mais de 99.8% das amostras do LCD, a explicação gerada era logicamente consistente com o rótulo predito (baixa taxa de inconsistência RLI).
  • Legibilidade: As explicações geradas foram avaliadas como altamente legíveis e clinicamente úteis.

5. Significado e Impacto

O trabalho CLSGen oferece uma solução prática para um dos maiores obstáculos na aplicação de LLMs em cenários críticos: a necessidade de transparência e confiança.

• Ao resolver o problema do "colapso linguístico", o framework permite que modelos de IA não apenas "adivinhem" um resultado, mas expliquem o "porquê" de forma confiável.
• A capacidade de fornecer probabilidades quantitativas confiáveis, juntamente com justificativas textuais, torna os modelos adequados para tomada de decisão em saúde, onde a interpretabilidade é tão importante quanto a precisão.
• O estudo estabelece um novo padrão para o ajuste fino de LLMs em tarefas de classificação, demonstrando que é possível otimizar para discriminação estatística sem sacrificar a capacidade generativa do modelo.

Em resumo, o CLSGen demonstra que é possível ter o melhor dos dois mundos: a precisão estatística de um classificador tradicional e a capacidade explicativa de um modelo generativo moderno.