Resumo Técnico: Modelagem Generativa Baseada em Score Robusta com Perturbações de Tsallis–Gaussian

Declaração do Problema

A modelagem generativa baseada em score, particularmente o Score-Matching com Dinâmica de Langevin (SMLD), depende fortemente de perturbações Gaussianas para definir o objetivo de treinamento e a dinâmica de amostragem. Embora as perturbações Gaussianas ofereçam conveniência analítica e uma conexão direta com a divergência de Fisher, elas possuem uma limitação crítica: a função de score condicional é linear e ilimitada em relação ao resíduo da perturbação ($r = y - x$). Consequentemente, o objetivo padrão de Denoising Score-Matching (DSM) é altamente sensível a grandes desvios, tornando-se não robusto contra distribuições de dados de cauda pesada e contaminação de dados (ex: ruído ao nível de características ou corrupção ao nível de amostra).

Tentativas existentes para abordar isso, simplesmente substituindo o ruído Gaussiano por alternativas de cauda pesada (ex: dinâmicas estáveis ou fracionárias), frequentemente falham em fornecer um framework estatisticamente coerente. Elas tipicamente não alinham a distribuição de perturbação com uma divergência, função de perda ou procedimento de amostragem correspondente, deixando a robustez das propriedades do alvo de treinamento indefinida. Além disso, dados financeiros e dados tabulares sintéticos frequentemente exibem caudas pesadas, agrupamento de volatilidade (volatility clustering) e quebras estruturais, necessitando de modelos generativos que possam capturar eventos extremos sem serem desestabilizados por eles.

Metodologia

Os autores propõem um framework unificado, Tsallis-Weighted SMLD (TSMLD), que integra perturbações de Tsallis–Gaussian (ou $q$-Gaussian) com a divergência de Tsallis Kullback–Leibler (KL). O framework é construído sobre dois mecanismos de robustez complementares:

1. Kernel de Perturbação Tsallis–Gaussian (Robustez ao Nível de Característica)

Em vez do ruído Gaussiano padrão, o modelo injeta ruído Tsallis–Gaussian. Para um parâmetro de deformação $q > 1$, esta distribuição possui cauda pesada.

• Score Limitado: O score condicional induzido pelo kernel Tsallis–Gaussian, $\nabla_y \log p_j(y|x)$, é limitado e redescendente no resíduo $r$. Diferente do score Gaussiano linear, o score de Tsallis diminui em direção a zero para grandes resíduos.
• Efeito: Isso limita a influência de desvios extremos de nível de característica durante o treinamento, impedindo que outliers dominem as atualizações de gradiente.

2. Pesagem de Tsallis via Divergência Tsallis KL (Robustez ao Nível de Amostra)

O objetivo de treinamento é derivado da variação de primeira ordem da divergência Tsallis KL, levando a um erro de score-matching explícito ponderado (ESM):
$$\mathcal{L} \propto \mathbb{E} \left[ \omega_{q,j}(Y) \| \nabla_Y \log p_\theta(Y) - \nabla_Y \log p_j(Y) \|_2^2 \right]$$
onde o peso é definido como $\omega_{q,j}(y) = (p_j(y) / p_\theta(y))^{1-q}$.

• Mecanismo: Quando $q > 1$, observações onde o modelo atribui baixa probabilidade em relação aos dados (baixa razão de densidade) recebem pesos reduzidos.
• Efeito: Isso atenua amostras mal suportadas ou contaminadas ao nível de amostra, aumentando a robustez contra mudanças distributivas e outliers.

Implementação: Arquitetura de Cabeça Dupla (Dual-Head)

Como os pesos teóricos dependem de razões de densidade desconhecidas, os autores propõem uma implementação prática usando uma rede neural de cabeça dupla baseada em Noise Conditional Score Networks (NCSN):

1. Cabeça Primária: Estima o score ordinário $\nabla \log p_\theta$ para amostragem.
2. Cabeça Auxiliar: Estima uma transformação escalar ou vetorial para aproximar o fator de potência da densidade $p_\theta^{1-q}$, permitindo o cálculo do peso de Tsallis sem estimativa explícita de densidade.

• Estabilização: A implementação utiliza normalização de mini-lote no domínio logarítmico, um cronograma de warm-up para os pesos e uma operação de stop-gradient para evitar que a rede otimize os pesos para minimizar a perda em vez do erro de score.

Amostragem

A amostragem é realizada via dinâmica de Langevin com ruído de Tsallis anelado (annealed). O amostrador percorre uma escada de ruído $\sigma_1 > \dots > \sigma_J$, utilizando o score ordinário aprendido para o drift e ruído Tsallis–Gaussian para o termo estocástico. Isso permite uma exploração mais ampla do espaço de estados, particularmente em níveis de ruído elevados, comparado à dinâmica de Langevin Gaussiana padrão.

Contribuições Principais

1. Framework Unificado: O artigo formula o primeiro framework de amostragem baseado em score que alinha conjuntamente uma família de perturbação de cauda pesada (Tsallis–Gaussian) com uma divergência correspondente (Tsallis KL) e uma função de objetivo ponderada.
2. Mecanismos de Dupla Robustez: Estabelece teoricamente e empiricamente que a robustez é alcançada através de:
   • Robustez ao nível de característica: Um score condicional limitado e redescendente que amortece desvios extremos por coordenada.
   • Robustez ao nível de amostra: Pesagem adaptativa de razão de densidade que atenua a influência de observações mal correspondidas.
3. Arquitetura Neural Prática: Uma implementação de cabeça dupla que aproxima os pesos de Tsallis em altas dimensões sem estimativa explícita de densidade, compatível com pipelines de SMLD existentes.
4. Validação Empírica: Experimentos abrangentes em conjuntos de dados sintéticos, financeiros e de imagens demonstrando melhoria na robustez sob contaminação e regimes de cauda pesada.

Resultados

Dados Sintéticos e Tabulares

• Desempenho: Em tarefas de classificação (HAR, ISOLET, Spambase) e regressão (Superconductivity, Communities and Crime, Wave Energy), o TSMLD (com $q \approx 1.2$) supera consistentemente o SMLD padrão e outros baselines (CTGAN, TVAE, TabDDPM) em utilidade downstream (TSTR) e fidelidade distributiva (MMD).
• Robustez: Sob corrupção de nível de característica e de nível de amostra (até 50% de ruído), o TSMLD exibe estabilidade significativamente maior do que o SMLD padrão e geradores tabulares. Ele preserva melhor a estrutura relevante para a tarefa, mostrando menor degradação de desempenho em métricas de acurácia e regressão.

Geração de Imagens

• Qualidade: Em MNIST, Fashion-MNIST e CIFAR-10, o TSMLD alcança pontuações de Fréchet Inception Distance (FID) competitivas ou superiores ao SMLD padrão e outros modelos de difusão de cauda pesada (LIM, DLPM).
• Robustez: Sob corrupção de nível de pixel e de nível de imagem, o TSMLD demonstra resiliência superior. As imagens geradas contêm menos artefatos e mantêm a coerência semântica melhor do que os baselines quando treinados em dados contaminados.

Séries Temporais Financeiras

• Fatos Estilizados: O TSMLD recupera melhor os fatos estilizados financeiros, incluindo o peso das caudas (curtose), risco de queda (VaR, CVaR) e dependência de modo de mercado (autovalores de matrizes de correlação), comparado a baselines baseados em GAN (TimeGAN, TailGAN) e difusão.
• Regimes de Estresse: Em diagnósticos de estresse fora da distribuição (período de crise 2020–2024), o TSMLD com $q=1.5$ gera cenários com comportamento de cauda realista e dinâmica de período de crise, enquanto o SMLD Gaussiano e os GANs tendem a subestimar o risco de cauda.
• Achados de Ablação:
  • Perturbação de Tsallis: A perturbação de cauda pesada é o principal motor para recuperar o comportamento de cauda de estresse.
  • Peso de Tsallis: A pesagem adaptativa é crucial para calibrar o modelo em regimes de calmaria, evitando a sobre-amplificação de caudas em períodos tranquilos.
  • Sinergia: Nenhum dos componentes sozinho é suficiente; o modelo TSMLD completo combina a exploração de cauda pesada com a calibração adaptativa de nível de amostra.

Significância e Alegações

O artigo alega que o framework proposto oferece uma abordagem estatisticamente alinhada para modelagem generativa robusta. Argumenta-se que mudar simplesmente a distribuição de ruído é insuficiente; um framework coerente deve alinhar a perturbação, a divergência e a dinâmica de amostragem.

Os autores posicionam seu trabalho como um passo significativo em direção a modelos generativos que são robustos a dados de cauda pesada e contaminação, que são prevalentes em aplicações financeiras e geração de dados sintéticos. Eles enfatizam que o método fornece um "equilíbrio favorável" entre fidelidade distributiva e utilidade downstream, particularmente em regimes de alta corrupção onde métodos padrão falham.

O artigo é modesto em suas alegações quanto ao escopo teórico:

• Reconhece que a convergência do amostrador de ruído de Tsallis anelado é provada atualmente apenas para o regime de variância finita ($1 < q < 5/3$).
• Observa que os termos "robustez ao nível de característica" e "robustez ao nível de amostra" são rótulos descritivos para os efeitos observados, e não análogos diretos de robustez clássica baseada em funções de influência, já que a formulação de funções de influência dentro da modelagem generativa baseada em score permanece uma questão aberta.
• Sugere que trabalhos futuros são necessários para desenvolver regras adaptativas aos dados para seleção de $q$ e para estender o framework para regimes de variância infinita através de regularização.

Em resumo, o artigo apresenta o TSMLD como uma alternativa robusta e unificada ao SMLD Gaussiano, particularmente eficaz para domínios onde eventos extremos e contaminação de dados são preocupações críticas.