Resumo Técnico: Aumentação de Dados de Resíduo Contrafactual para Regressão

Definição do Problema

Tarefas de regressão do mundo real em domínios como medicina, finanças e manufatura frequentemente sofrem com escassez de dados, altos custos de coleta de dados e observações ruidosas. Embora a aumentação de dados seja um pilar de sucesso na visão computacional e no processamento de linguagem natural, as técnicas existentes (ex: transformações geométricas, Mixup) muitas vezes dependem de simetrias preservadoras de rótulos ou invariâncias específicas do domínio que não se traduzem naturalmente para a regressão tabular. Consequentemente, modelos de aprendizado supervisionado frequentemente falham em capturar processos subjacentes quando os exemplos de treinamento são limitados, levando ao overfitting e à baixa generalização.

Metodologia: Aumentação de Dados de Resíduo Contrafactual (CRDA)

Os autores propõem a Aumentação de Dados de Resíduo Contrafactual (CRDA), uma estrutura agnóstica ao modelo projetada para sintetizar novas amostras de treinamento realistas para regressão tabular, explorando a invariância do ruído residual.

Insight Central

O método fundamenta-se na observação de que, uma vez que um regressor modela o componente sistemático dos dados, o ruído restante (resíduo) pode ser visto como um componente invariante sob pequenas perturbações de características cuidadosamente selecionadas. Ao preservar este resíduo enquanto modifica características específicas, o CRDA gera amostras contrafactuais que aderem à distribuição subjacente dos dados sem exigir dados adicionais do mundo real.

Fundamentação Teórica

O CRDA opera sob a suposição de um Modelo Causal Estrutural de Ruído Aditivo (SCM):
$$Y = g(X_P, X_R) + Z$$
Onde:

• $Y$ é a variável alvo.
• $g(X_P, X_R)$ é o componente sistemático (expectativa condicional).
• $Z$ é o ruído estrutural (resíduo).
• $X_P$ representa as características perturbáveis e $X_R$ representa as características fixas.

O método baseia-se na Suposição 3.1 (Invariância do Resíduo): O termo de ruído $Z$ é condicionalmente independente das características perturbáveis $X_P$ dadas as características fixas $X_R$ ($P(Z | X_P, X_R) = P(Z | X_R)$). Isso implica que perturbar $X_P$ altera a predição sistemática, mas não altera o ruído específico da instância.

Fluxo de Trabalho Algorítmico

O pipeline do CRDA (Algoritmo 1) procede da seguinte forma:

1. Treinamento de Linha de Base: Um regressor base $\hat{g}$ (ex: MLP ou XGBoost) é treinado no conjunto de dados original $D_{train}$.
2. Computação de Resíduos: Resíduos empíricos são calculados: $\hat{z}_i = y_i - \hat{g}(x_i)$.
3. Seleção de Características (Filtragem de Independência): Para satisfazer a Suposição 3.1, o algoritmo identifica um subconjunto de características $X_P$ que são provavelmente independentes dos resíduos. Isso é alcançado via:
   • Algoritmo PC: Uma verificação de grafo causal para remover características com arestas diretas para o resíduo $\hat{Z}$.
   • Verificação de Correlação: Remoção de características fortemente correlacionadas com $\hat{Z}$.
   • As características restantes formam $X_P$; as demais formam $X_R$.
4. Geração de Contrafactuais: Para cada amostra de treinamento, $M$ amostras sintéticas são geradas:
   • Perturba-se $X_P$ usando um fator de escala uniforme: $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$, onde $\delta \sim \text{Unif}[-p, p]$.
   • Mantém-se $X_R$ fixo.
   • Computa-se o rótulo contrafactual preservando o resíduo original: $y'_i = \hat{g}(x'_i) + \hat{z}_i$.
5. Validação de Segurança: Antes do retreinamento final, um teste de postos sinalizados de Wilcoxon compara o desempenho do modelo de linha de base contra um modelo treinado com os dados aumentados via validação cruzada K-fold. Se o p-valor indicar que não há melhoria estatisticamente significativa, a aumentação é rejeitada e a linha de base é mantida.
6. Retreinamento Final: Se a validação passar, um modelo final é treinado na união dos dados originais e aumentados.

Principais Contribuições

1. Nova Estrutura de Aumentação de Dados: Uma estratégia agnóstica ao modelo para regressão tabular centrada em raciocínio contrafactual e invariância de resíduo, evitando a necessidade de heurísticas específicas de domínio.
2. Princípio da Invariância do Resíduo: Uma formalização de como características específicas podem ser perturbadas sem corromper a estrutura do ruído, fornecendo uma base teórica para a seleção de características na aumentação.
3. Validação Empírica: Avaliação abrangente em benchmarks sintéticos e conjuntos de dados do mundo real (UCI, PMLB, Kaggle), demonstrando melhorias consistentes em modelos neurais (MLP) e de ensemble (XGBoost).

Resultados Experimentais

Os autores avaliaram o CRDA em nove conjuntos de dados de referência com tamanhos de amostra variados, comparando-o com:

• Linhas de Base: Sem aumentação.
• Competidores: Métodos de aumentação de regressão de estado da arte (C-Mixup, ADA) e modelos generativos profundos (CTGAN, TVAE, TabDDPM).

Principais Descobertas:

• Ganhos de Desempenho: Em média, o CRDA reduziu o Erro Quadrático Médio (MSE) em 22,9% para regressores MLP e 6,4% para regressores XGBoost em todos os conjuntos de dados.
• Robustez: Diferente dos métodos geométricos (ex: ADA, C-Mixup), que mostraram modos de falha catastrófica (aumentando o MSE em >100% em alguns casos) e modelos generativos profundos que frequentemente degradaram o desempenho, o CRDA melhorou ou manteve consistentemente o desempenho sem degradação significativa.
• Dependência do Tamanho da Amostra: O método é mais eficaz em um "ponto ideal" de tamanhos de amostra (ex: 2,5k–20k para MLPs), onde o modelo base aprendeu o sinal principal, mas ainda se beneficia da exploração localizada do espaço de características. Para conjuntos de dados muito pequenos, o modelo base é muito impreciso para produzir resíduos significativos; para conjuntos de dados muito grandes, a linha de base já é ótima.
• Mecanismo de Segurança: O portão de segurança de Wilcoxon evitou com sucesso a aumentação em casos onde ela não ajudaria (ex: ao usar uma linha de base de regressão linear fraca), garantindo que o método não degrade o desempenho.

Significância e Alegações

O artigo posiciona o CRDA como um remédio simples e eficiente para configurações de regressão com poucas amostras e propensas a ruído. Sua significância reside em:

• Praticidade: Não requer conhecimento específico de domínio ou modelagem generativa complexa, tornando-o prontamente aplicável a vários regressores.
• Fundamentação Teórica: Ao enquadrar a aumentação através da lente de contrafactuais causais e invariância de resíduo, oferece uma alternativa fundamentada aos métodos de interpolação heurística.
• Confiabilidade: A validação de segurança integrada garante que o método atue como um "guarda-corpo", impedindo a degradação do desempenho em cenários onde as suposições de aumentação (independência do resíduo) são violadas ou o modelo base é insuficiente.

Os autores concluem que o CRDA oferece uma abordagem robusta para expandir conjuntos de dados sem exigir novos dados reais, efetivamente reduzindo a variância e melhorando o ajuste do modelo em regimes de escassez de dados. Sugere-se que trabalhos futuros estendam esses princípios para tarefas de classificação e explorem algoritmos de descoberta causal mais robustos para a partição de características.