Large Language Models for Imbalanced Classification: Diversity makes the difference

Resumo Técnico: Grandes Modelos de Linguagem para Classificação Desbalanceada: A Diversidade faz a Diferença

Declaração do Problema

A classificação desbalanceada continua sendo um desafio crítico no aprendizado de máquina, particularmente ao lidar com dados tabulares onde as classes minoritárias (ex: doenças raras) possuem significativamente menos amostras do que as classes majoritárias. Métodos tradicionais de sobreamostragem, como o SMOTE, abordam isso gerando amostras sintéticas da classe minoritária. No entanto, essas abordagens frequentemente exigem a conversão de variáveis categóricas em vetores numéricos (via codificação ordinal ou one-hot), levando à perda de informação e à introdução de artefatos.

Embora métodos recentes baseados em Grandes Modelos de Linguagem (LLMs) tenham surgido para lidar com dados tabulares como texto — preservando os contextos das variáveis e evitando a conversão numérica — eles sofrem de uma limitação diferente: diversidade limitada. As abordagens atuais baseadas em LLM geralmente geram amostras sintéticas da classe minoritária que são muito semelhantes entre si. Essa falta de diversidade reduz a robustez e a generalização dos classificadores downstream. Além disso, os métodos atuais dependem de etapas de verificação não confiáveis (usando classificadores externos ou o próprio LLM treinado em dados desbalanceados) para filtrar amostras sintéticas, o que pode levar à rejeição de dados válidos.

Metodologia: ImbLLM

Os autores propõem o ImbLLM, um novo framework de sobreamostragem baseado em LLM projetado para aumentar a diversidade e a qualidade das amostras sintéticas da classe minoritária. O método introduz três melhorias técnicas específicas sobre as linhas de base existentes:

1. Amostragem Condicionada à Diversidade (condition_yx)

Métodos existentes constroem prompts baseados apenas no rótulo minoritário (ex: "Renda é ≥200K") para consultar o LLM. Devido à função softmax usada na predição de tokens, prompts idênticos frequentemente produzem saídas altamente similares.

• Inovação: O ImbLLM constrói prompts condicionados tanto ao rótulo minoritário quanto a uma característica amostrada aleatoriamente.
• Mecanismo: Para cada geração, o sistema amostra uma característica $X_i$ e seu valor $v_i$ da distribuição minoritária, formando um prompt como "Renda é ≥200K, Escolaridade é Bacharel". Essa variação nos inputs de condicionamento força o LLM a explorar diferentes regiões do espaço de características, gerando amostras sintéticas mais diversas.

2. Permutação de Características com Rótulo Fixo (fix_y)

Métodos baseados em LLM padrão permutam tanto as características ($X$) quanto a variável alvo ($Y$) durante o ajuste fino para evitar o viés posicional. No entanto, em LLMs do tipo decoder-only, o mecanismo de atenção é mascarado de tal forma que um token só pode atender aos tokens precedentes.

• Problema: Se o rótulo minoritário $Y$ for embaralhado para o meio ou fim de uma sequência, ele não pode atender às características que o precedem, limitando a capacidade do modelo de gerar características diversas condicionadas a esse rótulo.
• Inovação: O ImbLLM fixa o rótulo minoritário ($Y$) no início da sentença e apenas permuta as características ($X$).
• Mecanismo: Ao colocar $Y$ primeiro (ex: "Renda é ≥200K, Escolaridade é Bacharel..."), o rótulo pode atender a todas as características subsequentes através do mecanismo de atenção, garantindo que as características geradas sejam totalmente condicionadas à classe alvo.

3. Ajuste Fino com Interpolação (minor+interpolate)

Métodos existentes realizam o ajuste fino de LLMs em dados majoritários e minoritários e, então, tentam verificar as amostras sintéticas para garantir que pertençam à classe minoritária. Essa verificação é frequentemente não confiável porque o verificador é treinado em dados desbalanceados.

• Inovação: O ImbLLM realiza o ajuste fino do LLM apenas em amostras minoritárias e amostras interpoladas, removendo completamente a classe majoritária da fase de ajuste fino.
• Mecanismo: Para abordar a escassez de dados minoritários (que podem carecer de cobertura suficiente de domínios de variáveis contínuas), os autores introduzem uma etapa de interpolação. Eles geram valores contínuos sintéticos interpolando entre amostras minoritárias existentes ($x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$). O LLM é então ajustado com a união das amostras minoritárias originais e dessas amostras interpoladas. Isso elimina a necessidade de uma etapa de verificação pós-geração e evita que o modelo seja enviesado para a classe majoritária.

Principais Contribuições

1. Framework ImbLLM: Um novo método de sobreamostragem que integra três melhorias principais (amostragem, permutação e ajuste fino) para gerar amostras minoritárias diversas e robustas.
2. Análise Teórica: Uma análise baseada em entropia provando que o processo de geração proposto incentiva matematicamente a diversidade no output.
3. Avaliação Abrangente: Experimentos extensos em 10 conjuntos de dados tabulares reais comparando o ImbLLM contra oito baselines de última geração (incluindo SMOTE, CTGAN e outros métodos baseados em LLM como Great, TapTap e Pred-LLM).
4. Métricas de Qualidade e Diversidade: Demonstração de que as amostras geradas não são apenas mais eficazes para classificação, mas também superiores em "Close Probability" (similaridade com dados reais) e "Coverage" (diversidade do manifold gerado).

Resultados Experimentais

Os autores avaliaram o ImbLLM em 10 datasets (ex: Adult, German, Credit Card) usando F1-score e AUC como métricas primárias de desempenho de classificação downstream.

• Desempenho de Classificação: O ImbLLM alcançou o melhor F1-score em 5 de 10 datasets e o segundo melhor em outros 3. Em média, superou o segundo colocado (CTGAN) em aproximadamente 3% e o classificador desbalanceado padrão (sem sobreamostragem) em 8%. Notavelmente, o desempenho do ImbLLM aproximou-se de um classificador treinado no conjunto de dados original balanceado, apesar de usar apenas 20% das amostras minoritárias originais para treinamento.
• Diversidade e Qualidade:
  • Close Probability: O ImbLLM pontuou 0.8011 comparado ao 0.7761 do CTGAN, indicando que as amostras sintéticas estão mais próximas das amostras minoritárias reais.
  • Coverage: O ImbLLM pontuou 0.8933 comparado ao 0.8482 do CTGAN, indicando melhor cobertura do manifold de dados reais.
• Estudos de Ablação: O estudo confirmou que cada componente (amostragem diversa, permutação de rótulo fixo e interpolação) contribui significativamente para o desempenho. Remover a etapa de interpolação resultou em menor desempenho, embora ainda superior aos baselines.
• Robustez: Ao contrário do TapTap e Pred-LLM, que dependem de etapas de verificação que falham quando o dataset desbalanceado é muito enviesado para treinar um verificador confiável, a abordagem do ImbLLM de excluir dados majoritários durante o ajuste fino provou ser mais robusta em diferentes razões de desbalanceamento.

Significância e Alegações

O artigo afirma que a diversidade é o fator crítico que distingue o sucesso da falha na sobreamostragem baseada em LLM. Enquanto métodos anteriores de LLM focaram na mecânica de geração ou verificação, o ImbLLM demonstra que otimizar a diversidade do processo de geração — através de engenharia de prompt específica, permutação consciente de atenção e ajuste fino baseado em interpolação — traduz-se diretamente em um desempenho superior de classificação downstream.

Os autores asseguram que seu método fornece uma alternativa mais confiável às abordagens pesadas em verificação, pois gera inerentemente dados minoritários de alta qualidade sem a necessidade de filtrar amostras "ruins" usando classificadores potencialmente enviesados. Os resultados sugerem que o ImbLLM pode efetivamente reduzir a lacuna de desempenho entre datasets severamente desbalanceados e seus equivalentes balanceados, tornando-o uma solução viável para aplicações do mundo real envolvendo eventos raros em dados tabulares.