CAMO: A Class-Aware Minority-Optimized Ensemble for Robust Language Model Evaluation on Imbalanced Data

1. O Problema

O artigo aborda o desafio fundamental do desequilíbrio de classes (class imbalance) em tarefas de aprendizado de máquina, especificamente na avaliação de Modelos de Linguagem (LLMs e SLMs).

• Limitação Atual: Métodos de ensemble tradicionais (como votação majoritária e média ponderada por confiança) tendem a favorecer as classes majoritárias, marginalizando as classes minoritárias. Isso resulta em uma queda significativa no desempenho das classes raras e reduz a pontuação geral do F1 Macro (uma métrica crítica para cenários onde todas as classes têm importância igual).
• Contexto Específico: O problema é agudo em domínios como a avaliação educacional (identificação de erros com categorias como "Em certa medida", que é estatisticamente rara, mas pedagogicamente crucial) e reconhecimento de emoções (onde estados emocionais específicos são menos frequentes).

2. Metodologia: A Abordagem CAMO

Os autores propõem o CAMO (Class-Aware Minority-Optimized), uma técnica de ensemble inovadora e agnóstica ao domínio, projetada para otimizar dinamicamente a preservação e o aprimoramento de previsões de classes minoritárias.

Arquitetura e Funcionamento:
O CAMO utiliza um processo de decisão hierárquico de sete estágios que combina distribuição de votos, calibração de confiança e incerteza inter-modelo. O fluxo de decisão prioriza a detecção de sinais minoritários antes de recorrer a regras padrão:

1. Unanimidade: Se todos os modelos concordam, essa decisão é aceita.
2. Consenso Minoritário Forte: Detecta consenso em classes minoritárias baseado em contagem de votos e limiares de confiança.
3. Voto Minoritário Isolado de Alta Confiança: Considera um único voto minoritário se a confiança for suficientemente alta, mesmo que outros modelos discordem.
4. Priorização Acionada por Incerteza: Se a confiança média do ensemble é baixa ou a dispersão (variância) é alta, o sistema prioriza classes minoritárias que receberam pelo menos um voto.
5. Agregação Ponderada por Confiança com Boosting: Aplica uma função de boosting dinâmica ($\beta$) que aumenta a pontuação de classes minoritárias com base no número de votos e na confiança média.
6. Voto Minoritário sob Dominação Competitiva: Permite que uma classe minoritária vença se tiver o maior número de votos e alta confiança máxima, mesmo que não seja a maioria absoluta.
7. Regra de Maioria Padrão: Se nenhuma das condições anteriores for atendida, aplica-se a regra de maioria tradicional.

Configuração Experimental:

• Benchmarks: Dois conjuntos de dados altamente desbalanceados:
  1. BEA 2025 (Mistake Identification Track): Foco na classe minoritária "To some extent" (~7%).
  2. DIAR-AI/Emotion: Foco em emoções raras como "surprise" (3%) e "love" (8%).
• Modelos: Avaliação cruzada em 8 modelos de linguagem (3 LLMs grandes e 5 SLMs pequenos) sob condições zero-shot e fine-tuned (usando LoRA para eficiência).
• Comparação: O CAMO foi benchmarkado contra 7 algoritmos de ensemble estabelecidos (Votação Majoritária, Ponderada por Confiança, Balanceada por Classe, etc.).

3. Principais Contribuições

1. Novo Framework de Ensemble: Introdução do CAMO, que trata previsões de classes minoritárias não como ruído, mas como sinais que devem ser preservados e amplificados.
2. Mecanismo de Decisão Hierárquico: Um sistema robusto que integra verificação de unanimidade, detecção de sinais minoritários, calibração de confiança e boosting dinâmico baseado em incerteza.
3. Avaliação Abrangente: Uma das comparações mais completas já realizadas para classificação desbalanceada, cobrindo múltiplas arquiteturas (SLM vs. LLM), tamanhos de modelos e paradigmas de treinamento.
4. Validação de Domínio Neutro: Demonstração de que a técnica funciona eficazmente em diferentes contextos (educação e emoção), provando sua generalização.

4. Resultados

Os experimentos demonstraram que o CAMO supera consistentemente os métodos de ensemble existentes, especialmente em cenários de fine-tuning.

• Desempenho no BEA 2025:

  • O CAMO alcançou as maiores pontuações de F1 Macro Estrito em todos os modelos testados quando combinado com fine-tuning.
  • Exemplo: No modelo Phi-3, o CAMO atingiu um F1 Estrito de 85.6%, superando o segundo melhor (MSA Base) em 2.6 pontos percentuais. Em modelos menores como Qwen3-0.6B, a melhoria foi de 70.2% (CAMO) contra 63.7% (MSA Base).
  • Em cenários zero-shot, o desempenho foi variável, mas o CAMO manteve a robustez necessária para não colapsar em classes minoritárias.

• Desempenho no DIAR-AI/Emotion:

  • O CAMO demonstrou melhoria significativa nas classes minoritárias "love" e "surprise".
  • No modelo Llama-8B, o F1 para "surprise" subiu de 0.72 (base) para 0.75 (CAMO), e para "love" de 0.81 para 0.84.
  • O F1 Macro geral para o ensemble CAMO (Llama-8B) foi de 88.70%, superando abordagens de referência como o GPT-4o-DP (87.90%).

• Análise de Ablação e Adaptação:

  • O estudo revelou que a eficácia do CAMO é sinérgica com a adaptação do modelo (fine-tuning). O ensemble funciona melhor quando os modelos base já foram ajustados para a tarefa, sugerindo que o CAMO é uma camada de otimização pós-treinamento eficaz.

5. Significado e Conclusão

O artigo estabelece o CAMO como um framework confiável e robusto para resolver o desequilíbrio de classes em sistemas de IA modernos.

• Impacto Prático: A técnica oferece uma solução para garantir equidade (fairness) em aplicações críticas onde classes minoritárias são essenciais, como diagnóstico de doenças raras, detecção de fraudes e avaliação educacional personalizada.
• Futuro: Os autores sugerem que o CAMO deve ser integrado como um componente a posteriori em pipelines de IA, complementando a adaptação de modelos. O trabalho destaca a necessidade de mecanismos automáticos para ajuste de parâmetros e a importância de considerar o desequilíbrio de classes no desenvolvimento de sistemas de IA sensíveis.

Em resumo, o CAMO preenche uma lacuna metodológica crítica, demonstrando que é possível melhorar o desempenho global e a justiça em modelos de linguagem sem sacrificar a precisão das classes majoritárias, através de uma gestão inteligente e hierárquica da incerteza e dos votos do ensemble.