A Fiber Criterion for Representation Identifiability in Supervised Learning

Resumen Técnico: Un Criterio de Fibra para la Identificabilidad de Representaciones en el Aprendizaje Supervisado

Planteamiento del Problema
En el aprendizaje supervisado, los modelos se evalúan típicamente basándose en su comportamiento de entrada-salida (precisión predictiva o riesgo). Sin embargo, los modelos modernos suelen interpretarse no solo como predictores, sino como aprendices de representaciones, donde se afirma que el mapeo interno $h$ posee propiedades estructurales específicas como compresión, invariancia, desenredo o accesibilidad semántica. El artículo identifica una brecha fundamental: la evidencia supervisada restringe el predictor compuesto $f = c \circ h$ (donde $h$ mapea entradas a representaciones y $c$ mapea representaciones a salidas), pero no determina necesariamente la factorización específica $(h, c)$ que lo realiza.

Dos factorizaciones distintas pueden inducir exactamente el mismo predictor $f$ poseyendo, sin embargo, representaciones internas sustancialmente diferentes. Por ejemplo, una representación podría descartar información de molestia (nuisance) mientras otra la retiene; una podría estar comprimida mientras otra no lo está. El artículo formaliza la pregunta: ¿Qué propiedades de la representación interna $h$ están unívocamente determinadas por el predictor inducido $c \circ h$? Los autores argumentan que, sin supuestos adicionales, muchas afirmaciones comunes a nivel de representación no son identificables únicamente a partir del comportamiento predictivo supervisado.

Metodología y Marco Teórico
El artículo aborda este problema a través de un marco de identificabilidad formal basado en el concepto de fibras en el espacio de pares representación-cabezal (representation-head pairs).

1. Equivalencia de Predictor y Fibras:
   Sea $\mathcal{M}$ una clase de pares representación-cabezal $(h, c)$ admisibles. El artículo define un mapa de proyección $\Pi: \mathcal{M} \to \Pi(\mathcal{M})$ donde $\Pi(h, c) = [c \circ h]_{P_X}$, representando el predictor inducido identificado hasta la igualdad casi segura respecto a $P_X$.

   • Dos pares $(h, c)$ y $(\tilde{h}, \tilde{c})$ son equivalentes de predictor si inducen el mismo predictor ($c \circ h = \tilde{c} \circ \tilde{h}$ casi seguramente).
   • El conjunto de todos los pares que inducen el mismo predictor forma una fibra de $\Pi$.

2. El Criterio de Fibra/Descenso:
   El resultado teórico central (Teorema 3.3) establece una condición necesaria y suficiente para la identificabilidad de la representación:

   • Una propiedad de la representación $P$ es identificable a partir del predictor inducido si y solo si $P$ es constante en cada fibra de $\Pi$.
   • Equivalencialmente, $P$ debe "descender" a una propiedad bien definida del propio predictor. Si $P$ varía dentro de una misma fibra (es decir, dos factorizaciones producen el mismo predictor pero tienen valores distintos para $P$), entonces $P$ no puede inferirse del predictor por sí solo.

3. La Obstrucción por Aumentación:
   Para demostrar la no-identificabilidad, el artículo introduce una construcción canónica llamada aumentación preservadora del predictor.

   • Dada una factorización $(h, c)$ y un estadístico auxiliar $q(x)$, uno puede construir una nueva representación $h_q(x) = (h(x), q(x))$ y un nuevo cabezal $c_q(u, v) = c(u)$.
   • El nuevo cabezal ignora la coordenada añadida $q$, asegurando que $c_q \circ h_q = c \circ h$ punto a punto. El predictor y el riesgo supervisado permanecen inalterados.
   • Sin embargo, la nueva representación $h_q$ puede diferir de $h$ en propiedades tales como minimalidad, compresión, invariancia o accesibilidad semántica.
   • Teorema 3.5 (Obstrucción por Aumentación): Si una clase de modelos $\mathcal{M}$ es cerrada bajo aumentación preservadora del predictor, cualquier propiedad de la representación que cambie cuando dicha aumentación se aplica no es identificable a partir del predictor inducido (y, por consiguiente, no lo es a partir del riesgo supervisado escalar).

4. Restauración de la Identificabilidad:
   El artículo señala que la identificabilidad puede restaurarse restringiendo la clase admisible $\mathcal{M}$ (por ejemplo, mediante restricciones arquitectónicas, cuellos de botella o sesgos inductivos), o enriqueciendo el objeto observacional (por ejemplo, añadiendo pérdidas auxiliares, múltiples entornos, o mediciones directas).

Contribuciones Clave

• Formalización de la Identificabilidad de la Representación: El artículo define la identificabilidad de la representación estrictamente en términos del predictor inducido, distinguiéndola de la identificabilidad estadística de los factores generativos latentes.
• El Criterio de Fibra/Descenso: Proporciona un criterio matemático riguroso (Teorema 3.3) que establece que una propiedad es identificable si y solo si es constante en las fibras de la proyección de las factorizaciones a los predictores.
• Mecanismo de Obstrucción General: Identifica la aumentación preservadora del predictor como un testigo universal de la no-identificabilidad, aplicable a deseos comunes incluyendo la minimalidad, compresión, invariancia, equivariancia, eliminación de molestias (nuisance removal) y accesibilidad semántica (Tabla 1).
• Diagnósticos Empíricos: El artículo proporciona dos tipos de evidencia empírica:
  1. Testigos Algebraicos Exactos: Experimentos en CelebA, CIFAR-10, STL-10, OfficeHome y PACS donde se añade información auxiliar (atributos semánticos, embebidos de transformación, etiquetas de dominio) a las representaciones. Los resultados muestran que, mientras el predictor permanece idéntico (desacuerdo cero), los diagnósticos estándar (precisión de sonda, distancia de invariancia, rango efectivo) cambian drásticamente.
  2. Estudio de Rendimiento Emparejado: Un estudio en el conjunto de datos Waterbirds comparando modelos entrenados con diferentes restricciones (ERM, Bottleneck, VIB, AugInv, SupCon) que logran un rendimiento supervisado similar. Los resultados muestran que estos modelos seleccionan diferentes diagnósticos de representación (por ejemplo, rango efectivo, decodificabilidad de molestia) a pesar de tener una precisión de prueba y una pérdida comparables.

Resultados

• Teóricos: El artículo demuestra que propiedades como la compresión, la invariancia y la accesibilidad semántica no son consecuencias del solo predicción supervisada. Estas varían dentro de la fibra del predictor inducido a menos que la clase admisible sea restringida.
• Empíricos:
  • En los experimentos de testigos exactos, añadir una sola coordenada (por ejemplo, una etiqueta de dominio) a una representación permitió que una sonda decodificara esa información con un 100% de precisión, mientras que la representación original no podía hacerlo, a pesar de que el output del predictor no cambió.
  • En el estudio de Waterbirds, los modelos con precisión de prueba emparejada exhibieron una divergencia significativa en las propiedades de la representación. Por ejemplo, los métodos de Cuello de Botón de Información (Information Bottleneck) seleccionaron representaciones de rango extremadamente bajo (rango efectivo $\approx 1.8$) en comparación con ERM (rango efectivo $\approx 35.7$), mientras que los métodos de invariancia por aumentación redujeron la sensibilidad a la transformación pero mantuvieron una alta decodificabilidad de la molestia. Crucialmente, la precisión del peor grupo (worst-group accuracy) no se correlacionó monótonamente con la precisión de la sonda de molestia, indicando que las afirmaciones sobre el nivel de representación requieren justificaciones específicas más allá del rendimiento predictivo.

Significado y Reivindicaciones
El artículo afirma aclarar la relación lógica entre el comportamiento predictivo supervisado y las propiedades de la representación interna. Su contribución principal es un resultado negativo respecto a la suficiencia del aprendizaje supervisado para las afirmaciones de representación:

• El comportamiento predictivo supervisado certifica una propiedad a nivel de representación solo cuando dicha propiedad está determinada por el predictor inducido.
• Las afirmaciones sobre compresión, invariancia o estructura semántica no son consecuencias automáticas de un bajo error supervisado.
• Para justificar tales afirmaciones, se debe depender de estructura adicional más allá del predictor, como restricciones arquitectónicas, restricciones de rango, aumentaciones de datos, objetivos auxiliares, supuestos causales o mediciones directas a nivel de representación.

El artículo concluye que la identificabilidad de la representación es condicional a la clase de factorizaciones admisible. Sin restricciones que reduzcan la fibra del predictor o seleccionen representantes específicos, la estructura interna de un modelo supervisado permanece subespecificada por el comportamiento de entrada-salida por sí solo.