Resumo Técnico: RUBRIC – Classificação de Ranking Equilibrada entre Realismo e Utilidade para Dados Desbalanceados

1. Declaração do Problema

O desbalanceamento de classes apresenta um desafio fundamental em domínios sensíveis ao risco, como detecção de fraude e diagnóstico médico, onde amostras da classe minoritária são escassas, porém críticas. As respostas padrão envolvem o sobreamostragem da classe minoritária usando geradores como SMOTE ou GANs. No entanto, esses métodos frequentemente produzem um grande volume de candidatos sintéticos de baixa qualidade. Tais candidatos podem distorcer as fronteiras de decisão, introduzir artefatos ou falhar em fornecer sinais informativos, levando ao overfitting e à degradação da generalização.

A literatura existente foca primordialmente em onde sintetizar amostras (ex: variantes conscientes da fronteira) ou em como gerá-las (ex: treinamento adversarial). Permanece uma lacuna em determinar quais amostras sintéticas reter após a geração. Os autores postulam que o realismo (plausibilidade) e a utilidade downstream (valor informativo para o aprendizado) não são equivalentes; uma amostra pode parecer realista, mas ser não informativa, ou ser focada na fronteira, mas prejudicial devido ao deslocamento de distribuição.

2. Metodologia: RUBRIC

O artigo introduz o RUBRIC (Realism–Utility Balanced Ranking), um framework de filtragem pós-processamento agnóstico ao gerador. Em vez de modificar o processo de geração, o RUBRIC trata a seleção de amostras sintéticas como um problema de otimização restrita que equilibra dois objetivos concorrentes: Realismo e Utilidade.

2.1 Mecanismo de Pontuação

O RUBRIC pontua cada candidato sintético $\tilde{x}$ usando dois modelos auxiliares treinados nos dados reais e no pool de candidatos:

1. Pontuação de Utilidade ($u(\tilde{x})$): Captura a proximidade de uma amostra com a fronteira de decisão, priorizando regiões informativas.
   • Um modelo de fronteira $f$ é treinado nos dados reais para produzir pontuações de margem.
   • Uma função de modelagem $g$ côncava e não decrescente (padrão: $g(t) = \log(1+e^{t/\tau})$) transforma a margem. Este formato garante retornos decrescentes para amostras longe da fronteira, focando a seleção em regiões "próximas à fronteira" sem sobreponderar casos triviais.
2. Pontuação de Realismo ($r(\tilde{x})$): Quantifica a plausibilidade da amostra em relação à verdadeira distribuição minoritária.
   • Um discriminador $D$ é treinado para distinguir amostras minoritárias reais de um pool de candidatos sintéticos.
   • A pontuação é derivada do log-odds da saída do discriminador: $r(\tilde{x}) = \log \frac{D(\tilde{x})}{1-D(\tilde{x})}$. Isso aproxima a razão de densidade de log entre as distribuições real e sintética.

2.2 Objetivo de Seleção

Dado um parâmetro de trade-off $\lambda \in [0, 1]$ e um orçamento de seleção $K$, o RUBRIC seleciona um subconjunto $U \subset S$ de tamanho $K$ para maximizar:
$$\max_{U \subseteq S, |U|=K} \sum_{\tilde{x} \in U} \left( \lambda u(\tilde{x}) + (1-\lambda) r(\tilde{x}) \right) + \gamma \text{Div}(U)$$

• Termo de Realismo-Utilidade: A soma ponderada das pontuações de utilidade e realismo.
• Termo de Diversidade ($\text{Div}(U)$): Modelado como uma função de cobertura de localização de instalações (facility-location) sobre o pool de candidatos para evitar a seleção de amostras redundantes ou quase duplicadas.
• Otimização: O objetivo é uma função submodular monotônica. O RUBRIC emprega um algoritmo guloso para selecionar o subconjunto, o que garante uma aproximação de $(1 - 1/e)$ para a solução ótima.

2.3 Pipeline

1. Gerar um pool de candidatos sintéticos $S$ usando qualquer gerador externo.
2. Treinar um modelo de fronteira $f$ nos dados reais e um discriminador $D$ para distinguir real de sintético.
3. Pontuar todos os candidatos em $S$ usando $f$ e $D$ congelados.
4. Selecionar avidamente os top $K$ candidatos baseados no objetivo submodular.
5. Treinar o classificador final no conjunto de dados aumentado (Real + Sintético Selecionado).

3. Contribuições Teóricas

O artigo fornece uma análise teórica mostrando que a filtragem seletiva estreita o limite de generalização para classificadores baseados em margem sob condições de regularidade suaves:

• Redução do Deslocamento de Distribuição: Ao filtrar via discriminador, o RUBRIC reduz a distância de variação total (TV) entre a distribuição sintética selecionada e a verdadeira distribuição minoritária, controlando assim o termo de viés.
• Supressão de Cauda (Tail Suppression): O modelador de utilidade côncavo $g$ induz um piso de margem, suprimindo exponencialmente a contribuição de amostras de "cauda próxima-negativa" (amostras que são sintéticas, mas residem longe do manifold minoritário).
• Limite de Generalização: Os autores derivam um limite de risco excessivo que inclui explicitamente termos para o erro de calibração do discriminador ($\epsilon_{est}$) e o piso de margem, demonstrando que o RUBRIC estreita monotonicamente o limite em comparação com a retenção de todos os candidatos.

4. Resultados Experimentais

O RUBRIC foi avaliado em três benchmarks tabulares altamente desbalanceados: Detecção de Fraude de Cartão de Crédito (ULB), Detecção de Fraude IEEE-CIS e Predição de Transações de Clientes Santander.

• Ganhos de Performance: Em múltiplos geradores (SMOTE, ADASYN, Borderline-SMOTE, KMeans-SMOTE) e classificadores (Regressão Logística, SVM, LightGBM, XGBoost), o RUBRIC melhorou consistentemente os escores de Recall e F1-macro.
• Gestão de Trade-off: O parâmetro $\lambda$ permite que os usuários naveguem pelo trade-off entre qualidade de ranking (AUPRC) e métricas de detecção (Recall/F1).
  • Um $\lambda$ menor (priorizando o realismo) preserva ou melhora o AUPRC.
  • Um $\lambda$ maior (priorizando a utilidade de fronteira) aumenta o Recall e o F1, às vezes ao custo do AUPRC.
• Robustez: O RUBRIC manteve o ROC-AUC comparável enquanto aumentou significativamente o recall em cenários de desbalanceamento extremo.
• Tempo de Execução: O processo de filtragem adiciona um custo de pós-processamento único (ex: ~12s para Credit Card, ~85s para IEEE-CIS), mas não afeta a latência de inferência.

5. Significância e Alegações

O artigo alega as seguintes contribuições:

1. Um Novo Paradigma: Ele desloca o foco de gerar melhores amostras para selecionar as melhores amostras de pools existentes, oferecendo uma solução agnóstica ao gerador que pode ser empilhada com qualquer método de sobreamostragem.
2. Otimização Formalizada: Ele formaliza a seleção de amostras sintéticas como um problema de otimização de realismo-utilidade restrito, solúvel via maximização submodular com garantias teóricas.
3. Justificativa Teórica: Fornece um limite de generalização dependente dos dados, provando que a filtragem seletiva reduz o deslocamento de distribuição e suprime contribuições prejudiciais de cauda.
4. Utilidade Prática: Através de experimentos extensos, demonstra que o RUBRIC melhora métricas críticas (Recall, F1) em domínios de alto risco como detecção de fraude, oferecendo controle explícito sobre o regime operacional de precisão-recall através do parâmetro $\lambda$.

Os autores enfatizam que o RUBRIC não é uma correção universal; em algumas configurações (ex: pares gerador-modelo específicos em datasets de desbalanceamento moderado como Santander), os ganhos podem ser mistos ou os trade-offs podem resultar em diminuição do F1 se o threshold não for ajustado. No entanto, o framework fornece um mecanismo principiado para gerenciar esses trade-offs.