On the Identifiability of Masked Prediction: Mode Blindness and Mask Schedules

Resumo Técnico: Sobre a Identificabilidade da Predição Mascarada

Enunciado do Problema
Métodos de predição mascarada (ex: BERT, autoencoders mascarados, difusão discreta) aprendem representações otimizando uma família de distribuições condicionais ponderadas por um cronograma (schedule), em vez de otimizar diretamente a lei conjunta dos dados. Embora regimes de mistura rápida permitam a recuperação da lei conjunta a partir das condicionais via tensorização aproximada, permanece incerto quando a predição condicional quase ótima determina a lei conjunta subjacente na presença de dados multimodais. Especificamente, o artigo investiga se um modelo pode atingir um risco de predição mascarada quase ótimo enquanto atribui pesos substancialmente diferentes a modos globais bem separados (ex: código vs. prosa, ou idiomas diferentes) na distribuição de dados. Este fenômeno é denominado cegueira de modo (mode blindness).

Metodologia
Os autores analisam o problema ao nível da população usando um novo arcabouço teórico:

1. Módulo de $\epsilon$-Identificabilidade: Eles introduzem um módulo $A^\mu_d(p, \epsilon)$, definido como o erro de distribuição máximo (ex: distância de Variação Total) entre a verdadeira lei de dados $p$ e qualquer lei de modelo admissível $q$ que incorra em um risco de predição mascarada de no máximo $\epsilon$. Isso unifica o estudo da identificabilidade exata ($\epsilon=0$) e da estabilidade sob pequeno excesso de risco.
2. Família Testemunha de Re-ponderação de Modo: Para investigar a identificabilidade, eles constroem uma família de leis $\{q_\lambda\}$ que compartilham exatamente as mesmas distribuições condicionais dentro do modo com a verdadeira lei de dados $p$, mas diferem apenas nas proporções de mistura global (pesos dos modos). Se o objetivo mascarado não consegue distinguir entre $p$ e $q_\lambda$, a lei conjunta não é identificável.
3. Decomposição de Informação: O artigo deriva uma decomposição exata da discrepância logarítmica mascarada entre $p$ e uma lei re-ponderada $q_\lambda$. A discrepância é mostrada como proporcional à divergência de Kullback-Leibler entre os verdadeiros pesos dos modos e os pesos re-ponderados, escalonada pela incerteza residual de modo ponderada pelo cronograma (medida pelo Erro Quadrático Médio Mínimo [MMSE] condicional do modo dado o contexto visível).
4. Suposições sobre a Geometria dos Dados: A análise baseia-se em duas suposições estruturais sobre a lei de dados:
   • Fixação de Modo por Grande Contexto (Large-Context Mode Pinning) (Suposição 5.1): Para contextos visíveis suficientemente grandes, o modo é identificado com probabilidade exponencialmente alta (a incerteza residual decai exponencialmente).
   • Incerteza Residual de Baixa Visibilidade (Suposição 5.2): Para contextos visíveis pequenos, o modo permanece ambíguo e a incerteza residual é limitada inferiormente.

Principais Contribuições

1. Prova de Cegueira de Modo: Sob a suposição de fixação de modo por grande contexto, o artigo prova que, se um cronograma de máscara é dominado por grandes contextos visíveis (ou seja, o número mínimo de coordenadas visíveis é grande), o objetivo mascarado torna-se exponencialmente insensível aos pesos dos modos globais. Um modelo pode atribuir pesos arbitrários aos modos (dentro de um intervalo constante) enquanto incorre em um risco mascarado exponencialmente pequeno. Consequentemente, o módulo de $\epsilon$-identificabilidade permanece macroscópico mesmo com um excesso de risco exponencialmente pequeno.
2. Identificabilidade Dependente do Cronograma: O artigo demonstra que o cronograma de máscara atua como o "modelo de observação" para o objetivo.
   • Cegueira: Cronogramas sem massa em contextos de baixa visibilidade (máscara de razão fixa com alta visibilidade) falham em recuperar os pesos dos modos.
   • Recuperação: Cronogramas que atribuem massa positiva a contextos de baixa visibilidade (pequenos conjuntos visíveis) restauram a sensibilidade aos pesos dos modos. A força da recuperação é governada pela massa atribuída a esses contextos de baixa visibilidade e pela incerteza residual nesses níveis.
   • Coercividade de Máscara Total: A presença de qualquer massa positiva na máscara total (zero contexto visível) fornece uma garantia uniforme que limita o módulo de identificabilidade sobre todos os modelos admissíveis, não apenas a família de re-ponderação.
3. Decomposição Exata de Informação: Os autores fornecem uma decomposição exata mostrando que a discrepância mascarada para leis re-ponderadas é o produto da informação do peso do modo e da incerteza residual esperada do modo. Isso explica por que grandes contextos suprimem a sensibilidade (a fixação reduz a incerteza para próximo de zero) e por que contextos de baixa visibilidade são necessários para a recuperação.
4. Limites Inferiores para Tensorização Aproximada: O artigo mostra que a falha na recuperação da lei conjunta, no regime bimodal, força as constantes de tensorização aproximada (que limitam a KL conjunta pela KL condicional) a crescerem exponencialmente com o comprimento da sequência $N$ para cronogramas de grande contexto. Isso indica que a falha é intrínseca ao objetivo, e não uma limitação das técnicas de análise existentes.

Resultos

• Limites Teóricos: O artigo estabelece que para cronogramas onde $v_{\min}(\mu) \geq s_{\text{pin}}$, a discrepância entre a verdadeira lei e uma lei re-ponderada é limitada por $O(e^{-c \cdot v_{\min}(\mu)})$, enquanto a distância de Variação Total permanece constante. Inversamente, para cronogramas com massa de baixa visibilidade $\pi_s(\mu) > 0$, o erro de peso do modo é limitado por $O(\sqrt{\epsilon / \pi_s(\mu)})$.
• Verificação Empírica:
  • Enumeração Exata: Em leis bimodais computáveis (construídas para satisfazer as suposições de fixação), os autores verificam as taxas de decaimento exponencial previstas e as razões de sensibilidade exatas.
  • Treinamento por Gradiente: O treinamento de um modelo sobre essas leis confirma que a dicotomia "cegueira–recuperação" sobrevive à otimização estocástica. Modelos treinados com cronogramas cegos falham em convergir para o verdadeiro peso do modo, enquanto aqueles com massa de baixa visibilidade o recuperam, com o erro escalonando como $\pi_0(\mu)^{-1/2}$.
  • Corpora Reais: Medições em corpora de código/prosa e alemão/inglês mostram que o texto natural exibe a estrutura geométrica necessária: a incerteza residual do modo é limitada inferiormente em contextos curtos e suprimida em contextos longos. No entanto, o decaimento segue uma lei de potência em vez de uma lei exponencial estrita, sugerindo que, embora a cegueira de modo exista, ela pode ser mais branda (polinomial vs. exponencial) na linguagem natural do que em sistemas termodinâmicos idealizados.

Significância e Alegações
O artigo afirma resolver uma questão fundamental na predição mascarada: quando a predição mascarada quase ótima identifica a lei conjunta subjacente? A resposta mostra-se ser dependente do cronograma.

• A estrutura global da lei conjunta (especificamente os pesos dos modos) é recuperável ou invisível dependendo exclusivamente da massa do cronograma de máscara em contextos de baixa visibilidade e de máscara total.
• A falha em identificar a estrutura global em cronogramas padrão de grande contexto não é um problema de capacidade do modelo, mas uma propriedade intrínseca do objetivo quando aplicado a dados multimodais com regimes metaestáveis.
• O trabalho fornece uma base teórica para entender por que as condicionais extraídas de modelos mascarados podem ser mutuamente inconsistentes (falhando em definir uma única lei conjunta) e sugere que a massa de baixa visibilidade (ou massa de máscara total) é um componente de design necessário para recuperar a estrutura global dos dados.
• Os autores enfatizam que seus resultados são garantias ao nível da população; embora os experimentos de treinamento por gradiente reproduzam os fenômenos, o artigo não pretende resolver limitações de amostra finita ou arquiteturais da pré-treinação em larga escala atual.

Em resumo, o artigo estabelece que o cronograma de máscara determina não apenas como a predição mascarada aprende, mas o que ela pode identificar, sendo que os pesos dos modos globais são invisíveis para cronogramas que carecem de componentes de baixa visibilidade ou de máscara total na presença de modos de dados bem separados.