On the Identifiability of Masked Prediction: Mode Blindness and Mask Schedules

Resumen Técnico: Sobre la Identificabilidad de la Predicción con Máscaras

Planteamiento del Problema
Los métodos de predicción con máscaras (por ejemplo, BERT, autoencoders de máscara, difusión discreta) aprenden representaciones optimizando una familia de distribuciones condicionales ponderadas por un esquema, en lugar de la ley conjunta de los datos directamente. Si bien los regímenes de mezcla rápida permiten la recuperación de la ley conjunta a partir de las condicionales mediante una tensorización aproximada, sigue sin estar claro cuándo la predicción condicional casi óptima determina la ley conjunta subyacente en presencia de datos multimodales. Específicamente, el artículo investiga si un modelo puede lograr una pérdida de predicción con máscara casi óptima mientras asigna pesos sustancialmente diferentes a los modos globales bien separados (por ejemplo, código frente a prosa, o diferentes idiomas) en la distribución de los datos. Este fenómeno se denomina ceguera de modo (mode blindness).

Metodología
Los autores analizan el problema a nivel de población utilizando un nuevo marco teórico:

1. Módulo de $\epsilon$-Identificabilidad: Introducen un módulo $A^\mu_d(p, \epsilon)$, definido como el error de distribución máximo (por ejemplo, la distancia de Variación Total) entre la verdadera ley de los datos $p$ y cualquier ley de modelo admisible $q$ que incurra en un riesgo de predicción con máscara de como máximo $\epsilon$. Esto unifica el estudio de la identificabilidad exacta ($\epsilon=0$) y la estabilidad bajo un pequeño exceso de riesgo.
2. Familia de Testigos de Reponderación de Modos: Para sondear la identificabilidad, construyen una familia de leyes $\{q_\lambda\}$ que comparten exactamente las mismas distribuciones condicionales dentro de cada modo que la verdadera ley de los datos $p$, pero difieren únicamente en las proporciones de mezcla global (pesos de los modos). Si el objetivo de la máscara no puede distinguir entre $p$ y $q_\lambda$, la ley conjunta no es identificable.
3. Descomposición de la Información: El artículo deriva una descomposición exacta de la discrepancia de logaritmo de la máscara entre $p$ y una ley reponderada $q_\lambda$. Se demuestra que la discrepancia es proporcional a la divergencia de Kullback-Leibler entre los verdaderos pesos de los modos y los pesos de los modos reponderados, escalada por la incertidumbre de modo residual promediada por el esquema (medida por el Error Cuadrático Medio Mínimo [MMSE] condicional del modo dado el contexto visible).
4. Supuestos sobre la Geometría de los Datos: El análisis se basa en dos supuestos estructurales sobre la ley de los datos:
   • Anclaje de Modo por Contexto Grande (Supuesto 5.1): Para contextos visibles suficientemente grandes, el modo se identifica con una probabilidad exponencialmente alta (la incertidumbre residual decae exponencialmente).
   • Incertidumbre Residual de Baja Visibilidad (Supuesto 5.2): Para contextos visibles pequeños, el modo permanece ambiguo y la incertidumbre residual está acotada por debajo.

Contribuciones Clave

1. Demostración de la Ceguera de Modo: Bajo el supuesto de anclaje de modo por contexto grande, el artículo demuestra que si un esquema de máscara está dominado por contextos de gran visibilidad (es decir, el número mínimo de coordenadas visibles es grande), el objetivo de la máscara se vuelve exponencialmente insensible a los pesos de los modos globales. Un modelo puede asignar pesos arbitrarios a los modos (dentro de un rango constante) mientras incurre en una pérdida de máscara exponencialmente pequeña. En consecuencia, el módulo de $\epsilon$-identificabilidad permanece macroscópico incluso ante un exceso de riesgo exponencialmente pequeño.
2. Identificabilidad Dependiente del Esquema: El artículo demuestra que el esquema de la máscara actúa como el "modelo de observación" para el objetivo.
   • Ceguera: Los esquemas que carecen de masa en contextos de baja visibilidad (proporción fija de enmascaramiento con alta visibilidad) no logran recuperar los pesos de los modos.
   • Recuperación: Los esquemas que asignan masa positiva a contextos de baja visibilidad (conjuntos visibles pequeños) restauran la sensibilidad a los pesos de los modos. La fuerza de la recuperación está gobernada por la masa asignada a estos contextos de baja visibilidad y la incertidumbre residual en esas escalas.
   • Coercitividad de Máscara Completa: La presencia de cualquier masa positiva en la máscara completa (cero contexto visible) proporciona una garantía uniforme que acota el módulo de identificabilidad sobre todos los modelos admisibles, no solo la familia de reponderación.
3. Descomposición Exacta de la Información: Los autores proporcionan una descomposición exacta que muestra que la discrepancia de la máscara para leyes reponderadas es el producto de la información de los pesos de los modos y la incertidumbre de modo residual esperada. Esto explica por qué los contextos grandes suprimen la sensibilidad (el anclaje reduce la incertidumbre a casi cero) y por qué los contextos de baja visibilidad son necesarios para la recuperación.
4. Cotas Inferiores en la Tensorización Aproximada: El artículo muestra que el fallo en la recuperación de la ley conjunta obliga a las constantes de tensorización aproximada (que acotan la KL conjunta por la KL condicional) a crecer exponencialmente con la longitud de la secuencia $N$ para esquemas de contexto grande. Esto indica que el fallo es intrínseco al objetivo, no una limitación de las técnicas de análisis existentes.

Resultados

• Límites Teóricos: El artículo establece que para esquemas con $v_{\min}(\mu) \geq s_{\text{pin}}$, la discrepancia entre la verdadera ley y una ley reponderada está acotada por $O(e^{-c \cdot v_{\min}(\mu)})$, mientras que la distancia de Variación Total permanece constante. Por el contrario, para esquemas con masa de baja visibilidad $\pi_s(\mu) > 0$, el error de peso de modo está acotado por $O(\sqrt{\epsilon / \pi_s(\mu)})$.
• Verificación Empírica:
  • Enumeración Exacta: En leyes bimodales computables (construidas para satisfacer los supuestos de anclaje), los autores verifican las tasas de decaimiento exponencial predichas y las razones de sensibilidad exactas.
  • Entrenamiento con Gradiente: El entrenamiento de un modelo sobre estas leyes confirma que la dicotomía "ceguera–recuperación" sobrevive a la optimización estocástica. Los modelos entrenados con esquemas ciegos fallan en converger al verdadero peso del modo, mientras que aquellos con masa de baja visibilidad lo recuperan, con un error que escala como $\pi_0(\mu)^{-1/2}$.
  • Corpus Reales: Las mediciones en corpus de código/prosa y alemán/inglés muestran que el lenguaje natural exhibe la estructura geométrica requerida: la incertidumbre de modo residual está acotada por debajo en contextos cortos y se suprime en contextos largos. Sin embargo, el decaimiento sigue una ley de potencia en lugar de una exponencial estricta, lo que sugiere que, si bien la ceguera de modo existe, puede ser más leve (polinómica frente a exponencial) en el lenguaje natural que en sistemas termodinámicos idealizados.

Significado y Reivindicaciones
El artículo afirma resolver una pregunta fundamental en la predicción con máscaras: ¿cuándo la predicción con máscara casi óptima identifica la ley conjunta subyacente? La respuesta resulta ser dependiente del esquema.

• La estructura global de la ley conjunta (específicamente los pesos de los modos) es recuperable o invisible dependiendo únicamente de la masa del esquema de la máscara en los contextos de baja visibilidad y de máscara completa.
• El fallo en la identificación de la estructura global en los esquemas estándar de contexto grande no es un problema de capacidad del modelo, sino una propiedad intrínseca del objetivo cuando se aplica a datos multimodales con regímenes metaestables.
• El trabajo proporciona una base teórica para comprender por qué las condicionales extraídas de modelos con máscara pueden ser mutuamente inconsistentes (fallando en definir una única ley conjunta) y sugiere que la masa de baja visibilidad (o la masa de máscara completa) es un componente de diseño necesario para recuperar la estructura global de los datos.
• Los autores enfatizan que sus resultados son garantías a nivel de población; aunque los experimentos de entrenamiento con gradiente reproducen los fenómenos, el artículo no pretende resolver las limitaciones de muestra finita o arquitectónicas de los preentrenamientos actuales a gran escala.

En resumen, el artículo establece que el esquema de la máscara determina no solo cómo la predicción con máscara aprende, sino qué puede identificar, siendo los pesos de los modos globales invisibles para los esquemas que carecen de componentes de baja visibilidad o de máscara completa en presencia de modos de datos bien separados.