Resumo Técnico: Aprendizado Auto-Supervisionado Consistente com Martingala

Declaração do Problema

O aprendizado auto-supervisionado (SSL) é amplamente implantado em cenários onde a disponibilidade de informações é dinâmica, como ao lidar com históricos mais curtos, características ausentes ou imagens parcialmente observadas. Nessas configurações, um modelo é frequentemente consultado sob múltiplos "conjuntos de informação" (por exemplo, visualizações grosseiras versus refinadas). Um requisito fundamental para tais modelos é a coerência: a previsão feita sob um conjunto de informação grosseiro deve corresponder à previsão esperada após o refinamento.

Matematicamente, se $F_1 \subseteq F_2$ representam conjuntos de informação aninhados (onde $F_2$ contém mais informações que $F_1$), e $g_\phi(x_F)$ é um preditor, a propriedade de martingala dita:
$$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$$
Isso implica que, antes de observar informações adicionais, o modelo não deve esperar sistematicamente que suas previsões futuras desviem para cima ou para baixo. Objetivos padrão de SSL (por exemplo, aprendizado contrastivo, reconstrução mascarada) geralmente treinam preditores para visualizações individuais de forma independente ou impõem invariância (fazendo as visualizações parecerem semelhantes). Eles não impõem essa consistência direcional, potencialmente levando a modelos que performam bem em visualizações específicas, mas carecem de coerência global entre conjuntos de informação aninhados.

Metodologia

Os autores propõem um Framework de SSL Consistente com Martingala que impõe a propriedade de martingala como um objetivo de treinamento.

1. Função Objetivo

A função de perda total combina uma perda preditiva padrão com uma penalidade de consistência de martingala:
$$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$$

• Termo Preditivo ($\mathcal{L}_{pred}$): Uma perda SSL padrão (por exemplo, entropia cruzada de classificação ou MSE de reconstrução) aplicada à visualização refinada (completa).
• Termo de Martingala ($\mathcal{L}_{mart}$): Este termo penaliza desvios da identidade de martingala. Requer a amostragem de conjuntos de informação aninhados $F_1 \subseteq F_2$. A perda é definida como:
  $$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$$
• Perda de Imputação ($\mathcal{L}_{imp}$): Uma perda auxiliar usada para treinar uma rede de imputação $q_\psi$ que aproxima a distribuição condicional da entrada completa dada a visualização parcial.

2. Estimador de Monte Carlo de Duas Amostras Não Viciado

Calcular diretamente a esperança condicional $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ é intratável. Uma média de Monte Carlo ingênua introduz viés devido à variância. Os autores propõem um estimador de duas amostras não viciado:

1. Dada uma visualização grosseira $x_{F_1}$, amostre dois refinamentos condicionalmente independentes $x^{(a)}_{F_2}$ e $x^{(b)}_{F_2}$ usando o imputador aprendido $q_\psi$.
2. Calcule a previsão grosseira $u = g_\phi(x_{F_1})$ e as previsões refinadas $v_a = g_\phi(x^{(a)}_{F_2})$, $v_b = g_\phi(x^{(b)}_{F_2})$.
3. O estimador é:
   $$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$$
   A análise teórica (Apêndice B.1) prova que este estimador é não viciado para o erro quadrático da identidade de martingala.

3. Variantes de Implementação

O framework é instanciado em dois espaços primários:

• Espaço de Previsão: A penalidade de martingala é aplicada diretamente às previsões de saída do modelo.
• Espaço Latente: A penalidade é aplicada às representações latentes do codificador ($z_{F_1}$ vs. $z_{F_2}$). Isso é particularmente útil para dados de alta dimensão (imagens, sequências longas) onde impor consistência no espaço de observação é impraticável.
• Alvos EMA: Para estabilizar o treinamento, os alvos refinados ($v_a, v_b$ ou $z_a, z_b$) podem ser computados usando uma cópia da rede com Média Móvel Exponencial (EMA), prevenindo a instabilidade de alvos móveis.

Contribuições Principais

1. Identificação de uma Lacuna Estrutural: O artigo identifica que o SSL padrão trata preditores como uma família de expectativas condicionais indexadas por conjuntos de informação, mas falha em impor as relações de consistência necessárias (propriedade de martingala) entre eles.
2. Receita de Treinamento Prática: Os autores introduzem um método para impor consistência de martingala sem redesenho específico de modalidade. Isso inclui penalidades nos espaços de previsão e latente e o estimador de Monte Carlo de duas amostras não viciado baseado em refinamento estocástico.
3. Validação Empírica: O framework é avaliado em benchmarks temporais, tabulares e de imagem em configurações semi-auto-supervisionadas (com rótulos) e totalmente auto-supervisionadas (sem rótulos).

Resultados Experimentais

O framework foi testado em conjuntos de dados sintéticos e do mundo real, incluindo séries temporais (UCI HAR, Tráfego, Ações), dados tabulares (Adult, Marketing Bancário) e imagens (CIFAR-10, STL-10).

• Robustez sob Observação Parcial: Impor consistência de martingala melhorou consistentemente a precisão de sondas a jusante quando a quantidade de informações observadas foi reduzida (níveis de completude baixos $c \in \{0.05, 0.2, \dots, 0.8\}$).
  • Séries Temporais: No cenário semi-auto-supervisionado, variantes de martingala alcançaram a melhor precisão média em todos os 7 conjuntos de dados, com ganhos relativos significativos (por exemplo, +155,6% em Trajetórias de Caracteres, +30,9% em T-SIM-RC).
  • Tabular: Variantes de martingala superaram as linhas de base em todos os 5 conjuntos de dados tabulares estáticos, com ganhos de até +34,1% em dados sintéticos.
  • Imagens: No CIFAR-10, a variante de martingala latente melhorou a precisão média de 0,311 para 0,383 (+23,2%) sobre o modelo base.
• Calibração: Modelos treinados com consistência de martingala mostraram calibração significativamente melhor (menor Erro de Calibração Esperado e Arrependimento a Qualquer Momento) sob observação parcial em comparação com o SSL padrão.
• Redução de Violações: O objetivo de treinamento reduziu com sucesso as violações de martingala (a discrepância entre previsões grosseiras e previsões refinadas esperadas), particularmente em regimes de baixa completude.
• Comparação com Invariância: Diferentemente de objetivos de consistência padrão que forçam visualizações a serem idênticas (invariância), a consistência de martingala permite que as previsões sejam atualizadas à medida que as informações são reveladas, enquanto previne o desvio sistemático.

Significado e Alegações

O artigo alega que a consistência de martingala fornece uma perspectiva probabilística sobre modelos de SSL implantados sob padrões de mascaramento variáveis ou comprimentos de contexto. Ao impor concordância em expectativa sob refinamento de informação, o método permite que as previsões sejam atualizadas naturalmente à medida que novos dados chegam, enquanto previne o desvio sistemático.

Os autores posicionam isso como um viés indutivo estrutural que captura informações deixadas sem restrição por objetivos padrão como SimCLR ou BYOL. Eles sugerem que isso é particularmente relevante para modelos fundamentais, que são rotineiramente consultados sob comprimentos de contexto variáveis e observações incompletas, ainda que objetivos existentes não imponham explicitamente a coerência necessária para tal implantação dinâmica. O trabalho demonstra que fechar essa lacuna melhora a robustez, a calibração e a estabilidade da representação, oferecendo uma maneira principial de lidar com regimes de informação parcial no aprendizado auto-supervisionado.