Resumo Técnico: Aprendizado Generativo Condicional Semi-Supervisionado através de Interpolação Estocástica e Representações Suficientes

1. Definição do Problema

A modelagem generativa condicional visa aprender a distribuição condicional subjacente $P_{X|Y}$ de dados de alta dimensão $X \in \mathbb{R}^d$ dado uma condição $Y \in \mathbb{R}^q$. Embora a regressão padrão forneça estimativas pontuais, aprender a distribuição completa é essencial para a quantificação de incerteza e para capturar estruturas complexas como a multimodalidade. No entanto, em configurações semi-supervisionadas, pares rotulados $(X, Y)$ são escassos, enquanto amostras não rotuladas de $X$ são abundantes.

Abordagens diretas que injetam $Y$ no processo de geração de alta dimensão sofrem de baixa eficiência de amostragem. Elas exigem uma quantidade substancial de dados rotulados para aprender a complexa distribuição condicional ambiente, falhando em aproveitar a abundância de dados não rotulados. Métodos baseados em representação existentes (por exemplo, VAEs, difusão latente) frequentemente dependem de estruturas de autoencoder onde garantias teóricas para geração condicional permanecem inexploradas, particularmente no que diz respeito a como a perda de informação em representações imperfeitas se propaga para o erro generativo.

2. Metodologia: Estrutura RepG

Os autores propõem o RepG, um framework de dois estágios que fatoriza o processo de geração condicional usando representações suficientes e interpolação estocástica condicional.

2.1 Fatoração Estrutural via Representações Suficientes

O RepG introduz uma representação latente de baixa dimensão $R(X) \in \mathbb{R}^k$ (onde $k \ll d$) projetada para capturar toda a informação que vincula $X$ e $Y$. O método baseia-se na suposição de independência condicional $X \perp\!\!\!\perp Y \mid R$, estabelecendo a cadeia de Markov $Y \to R \to X$. Isso permite que o processo de geração seja decomposto em:

1. Amostragem Latente (Dependente de Rótulo): Gerar a representação suficiente $r$ a partir da condição $y$ ($P_{R|Y}$). Esta é uma tarefa de baixa dimensão estimada usando dados rotulados escassos.
2. Reconstrução (Independente de Rótulo): Gerar o alvo de alta dimensão $x$ a partir da representação $r$ ($P_{X|R}$). Como $P_{X|R}$ é independente de $Y$, este estágio pode ser estimado usando o conjunto de dados agrupado de dados rotulados e abundantes dados não rotulados.

2.2 Implementação via Interpolação Estocástica Condicional

Para implementar os dois estágios, o RepG utiliza interpolação estocástica condicional (Albergo et al., 2025; Huang et al., 2023).

• Caminho de Interpolação: Um caminho $Z_t = a_t Z_0 + b_t Z_1$ conecta uma distribuição Gaussiana de referência ($Z_0$) a uma distribuição alvo ($Z_1$) sobre $t \in [0, 1]$.
• Estimativa de Drift: A tarefa generativa reduz-se à estimativa do campo de drift $v^*_F$ de uma Equação Diferencial Estocástica (SDE). Este drift é decomposto em um campo de velocidade e uma função de score.
• Estimadores Neurais: Os campos de velocidade para ambos os estágios são parametrizados por redes neurais feedforward (FNN) profundas com ativação ReLU.
  • Estágio 1: O campo de velocidade $u$ é treinado em pares rotulados $(R_i, Y_i)$ para minimizar o risco empírico do caminho de interpolação.
  • Estágio 2: O campo de velocidade $v$ é treinado no conjunto de dados aumentado $(X_m, R_m)$ (combinando dados rotulados e não rotulados) para aprender o mapeamento de reconstrução.
• Geração: Dada uma condição $y$, o modelo primeiro simula a SDE para gerar uma representação latente $\hat{r}$, então simula uma segunda SDE condicionada a $\hat{r}$ para gerar a amostra final $\hat{x}$.

2.3 Aprendizado de Representação

Para construir a representação suficiente $R(\cdot)$, os autores empregam um framework de Redução de Dimensão Profunda (DDR) (Huang et al., 2024). Isso envolve aprender um mapeamento que maximiza a covariância de distância entre $R(X)$ e $Y$, enquanto regulariza $R(X)$ para seguir uma distribuição Gaussiana padrão, garantindo que $X \perp\!\!\!\perp Y \mid R(X)$ seja aproximadamente satisfeito.

3. Principais Contribuições

3.1 Decomposição de Erro Estrutural

O artigo estabelece uma decomposição rigorosa da divergência Kullback-Leibler (KL) esperada entre a distribuição condicional verdadeira e o estimador RepG. O erro total compreende três componentes:

1. Viés Estrutural: Quantificado pela Informação Mútua Condicional (CMI), $I(X; Y \mid R)$. Isso mede a perda de informação se a representação não for perfeitamente suficiente.
2. Erro de Estimativa de Baixa Dimensão: O erro em aprender $P_{R|Y}$ usando dados rotulados.
3. Erro de Estimativa de Alta Dimensão: O erro em aprender $P_{X|R}$ usando o conjunto de dados agrupado.

Esta decomposição prova que a independência condicional estrita não é necessária; uma pequena CMI combinada com erros de estimativa controlados é suficiente para um baixo erro generativo total.

3.2 Taxas de Convergência Não Assintótica

Sob suposições de suavidade (classes de Hölder locais) e limites de momentos sub-exponenciais, os autores derivam taxas de convergência para os estimadores FNN:

• O erro do primeiro estágio escala com o tamanho da amostra $n$ e a dimensão $k+q$.
• O erro do segundo estágio escala com o tamanho da amostra agrupada $n+N$ e a dimensão $d+k$.
• Resultado Crucial: No regime onde os dados não rotulados são abundantes ($N \gg n$), a taxa de convergência global é dominada pelo componente supervisionado de baixa dimensão ($n^{-2\alpha/(2\alpha+q+k+1)}$). Isso demonstra que o RepG mitiga efetivamente a maldição da dimensionalidade ao confinar o ônus estatístico dos dados rotulados à dimensão reduzida $k$.

3.3 Limite Inferior Minimax

O artigo fornece um limite inferior minimax para a geração condicional direta (sem fatoração latente), mostrando que o erro escala com a dimensão ambiente total $d+q+1$. Ao comparar isso com o limite superior do RepG, os autores confirmam que a fatoração baseada em representação melhora significativamente a complexidade de amostragem quando $k \ll d$.

4. Resultados Experimentais

4.1 Estudos de Simulação

• Condicionamento Discreto: O RepG foi testado em conjuntos de dados sintéticos (Two Moons, Concentric Circles, Misturas Gaussianas 2D/3D). O método aprendeu com sucesso representações suficientes que preservaram a separabilidade de classes e reconstruíram geometrias complexas sem colapso de modo.
• Condicionamento Contínuo: Em cenários envolvendo heterocedasticidade, assimetria e distribuições cruzadas, o RepG superou a Regressão de Processo Gaussiano (GPR), Redes de Densidade de Mistura (MDN) e Florestas Aleatórias de Quantis (QRF) em termos de precisão de distribuição conjunta (Energy Score). Embora as larguras de intervalo marginais fossem comparáveis, o RepG capturou melhor as estruturas de dependência multivariada.

4.2 Aplicação no Mundo Real (MNIST)

O RepG foi aplicado à geração de dígitos MNIST com conjuntos rotulados fixos ($n_\ell \in \{1000, 3000\}$) e conjuntos não rotulados variáveis ($n_u$).

• Desempenho: O RepG superou consistentemente um modelo condicional direto de baseline.
• Escalabilidade: À medida que o número de amostras não rotuladas aumentava, o RepG mostrou ganhos de precisão monotônicos em uma tarefa de classificação downstream, estabilizando-se próximo de 87-90% de precisão. Em contraste, o desempenho do baseline permaneceu plano, pois não conseguiu utilizar os dados não rotulados.
• Qualidade Visual: As imagens geradas transitaram de artefatos fragmentados para estruturas coerentes conforme o tamanho da amostra não rotulada aumentava.

5. Significância e Alegações

O artigo afirma que o RepG oferece uma solução fundamentada para o problema de geração condicional semi-supervisionada ao:

1. Desacoplar a Complexidade: Separar a difícil geração de alta dimensão em uma tarefa supervisionada de baixa dimensão e uma tarefa de reconstrução livre de rótulos.
2. Garantias Teóricas: Fornecer a primeira decomposição de erro rigorosa e taxas de convergência para a geração condicional baseada em representação, ligando explicitamente o viés estrutural (CMI) ao risco estatístico.
3. Eficiência de Amostragem: Demonstrar que, ao confinar o ônus do aprendizado supervisionado à dimensão intrínseca do espaço latente, o método contorna a maldição da dimensionalidade inerente à modelagem direta no espaço ambiente.
4. Utilidade Prática: Validar que, mesmo com suficiência aproximada, o framework permanece eficaz, como mostrado pelos resultados empíricos em dados sintéticos e do mundo real.

Os autores concluem que esta abordagem fornece uma base teórica sólida para alocar dados rotulados limitados em configurações semi-supervisionadas e aproveitar efetivamente os dados não rotulados abundantes para aprender estruturas de dados de alta dimensão.