Loss-Shift Transfer via Bayes Quotients

Resumen Técnico: Transferencia de Desplazamiento de Pérdida mediante Cocientes de Bayes

Planteamiento del Problema
El aprendizaje por transferencia se analiza tradicionalmente a través de la lente del desplazamiento de distribución, donde la ley conjunta $P(X, Y)$ cambia entre los entornos de origen y destino. Este artículo identifica un modo de fallo ortogonal denominado desplazamiento de pérdida (loss shift). En este escenario, la distribución conjunta $P(X, Y)$ permanece fija, pero la función de pérdida predictiva cambia. El problema central es que una representación optimizada para una pérdida de origen "gruesa" (por ejemplo, la precisión de clasificación de error cero) puede descartar información que es irrelevante para el objetivo de origen pero esencial para una pérdida de destino más "fina" (por ejemplo, la predicción probabilística bajo la pérdida de logaritmo o log loss). Una vez que una representación es congelada, las cabezas de descenso (downstream heads) no pueden recuperar la información descartada durante la fase de entrenamiento de origen, lo que conduce a un fallo de transferencia fundamental incluso cuando la distribución de los datos es idéntica.

Metodología y Marco Teórico
El artículo formaliza este fenómeno utilizando cocientes de Bayes, un concepto extraído de la teoría de la decisión y la elicitación de propiedades.

1. Cocientes de Bayes y Suficiencia: Para una distribución $P$ fija y una pérdida $\ell$, el cociente de Bayes $q_{\ell, P}(X)$ identifica las clases de equivalencia de entradas que producen la misma acción óptima de Bayes. Una representación $H = h(X)$ es Bayes-suficiente para $(P, \ell)$ si preserva este cociente (es decir, $\sigma(q_{\ell, P}(X)) \subseteq \sigma(H)$). Es Bayes-mínima si contiene exactamente este cociente.
2. Preorden de Pérdida: El artículo define un preorden $\preceq_P$ sobre las pérdidas basado en el refinamiento de sus cocientes de Bayes inducidos. $\ell_1 \preceq_P \ell_2$ si cada distinción requerida por $\ell_1$ es también requerida por $\ell_2$. El refinamiento estricto ($\ell_1 \prec_P \ell_2$) implica que $\ell_2$ requiere estrictamente más información que $\ell_1$.
3. Obstrucción Cualitativa: El resultado teórico central (Proposición 3.2) establece que si $\ell_{source} \prec_P \ell_{target}$, cualquier representación que sea Bayes-mínima para la pérdida de origen es insuficiente para la pérdida de destino. En consecuencia, el exceso de riesgo de la transferencia congelada es estrictamente positivo.
4. Identidad Cuantitativa para la Pérdida de Logaritmo: Para la pérdida de logaritmo de salida finita, el artículo deriva una identidad exacta para la brecha de transferencia congelada (Teorema 3.3). El exceso de riesgo es precisamente la información mutua condicional perdida por la representación:
   $$R^*_{\log, P}(H) - R^*_{\log, P}(X) = I(Y; X | H) = \mathbb{E} [ D_{KL}(P(Y|X) \parallel P(Y|H)) ]$$
   Esto cuantifica la penalización como la información condicional sobre $Y$ descartada por la representación congelada $H$.

Contribuciones Clave

• Identificación del Desplazamiento de Pérdida: El artículo establece el desplazamiento de pérdida como un modo de fallo de transferencia distinto, separado del desplazamiento de distribución, donde el cambio en la función objetivo requiere diferentes representaciones incluso bajo una misma distribución de datos.
• Sustrato de la Teoría de la Representación: Utiliza el marco de cocientes de Bayes-suficiencia para ordenar las pérdidas por refinamiento, proporcionando un mecanismo riguroso para comparar las demandas informacionales de diferentes objetivos.
• Caracterización Exacta de la Penalización de Transferencia: Para la pérdida de logaritmo, el artículo proporciona una fórmula información-teórica exacta para la brecha de transferencia, vinculándola directamente con la información mutua condicional y la divergencia KL esperada.
• Ejemplo de Clasificación Binaria: Demuestra explícitamente que una representación mínima para la precisión (que preserva solo la decisión de la clase de Bayes) es insuficiente para la predicción de log-loss, la cual requiere el vector de probabilidad condicional completo.

Resultados Experimentales
El artículo valida la teoría a través de cuatro configuraciones experimentales donde $P(X, Y)$ es fija pero la pérdida cambia:

1. Modelo Binario Controlado: Un modelo discreto sintético donde el cociente de Bayes para la clasificación se conoce exactamente. Los resultados muestran que una representación que preserva solo la clase de Bayes ($S$) logra una precisión idéntica a la de la representación completa ($X$), pero incurre en un Negative Log Likelihood (NLL) significativamente mayor. La brecha empírica de NLL coincide con la brecha de KL condicional teórica con alta precisión (correlación > 0.999).
2. Representaciones de Cuello de Botella Aprendidas: Utilizando un MLP aprendido con un cuello de botella y ruido en el tiempo de origen, el estudio muestra que una representación entrenada para la precisión de clasificación (pérdida hinge) y luego congelada falla en alcanzar el rendimiento óptimo de log-loss en el descenso. El ajuste fino (fine-tuning) del codificador recupera el rendimiento, confirmando que la información estaba presente en $X$ pero fue descartada por la representación congelada.
3. Experimento de Imágenes dSprites: Un entorno basado en imágenes utilizando factores latentes para la clase ($S$) y el nivel de probabilidad ($T$). Las representaciones entrenadas con pérdida hinge preservaron $S$ pero comprimieron $T$, lo que llevó a un NLL más alto en comparación con las representaciones entrenadas con pérdida de logaritmo, las cuales preservaron más información sobre $T$.
4. Etiquetas Humanas CIFAR-10H: Utilizando distribuciones de etiquetas suaves (soft-labels) humanas, el artículo compara el entrenamiento con etiquetas duras (hard-labels, voto mayoritario) frente al entrenamiento con etiquetas suaves. Los codificadores congelados de etiquetas duras, a pesar de lograr precisiones comparables en la etiqueta mayoritaria, desempeñan significativamente peor en NLL de etiquetas suaves y en la divergencia KL, particularmente en imágenes ambiguas donde la incertidumbre humana es alta.

Significado y Reivindicaciones
El artículo sostiene que la utilidad de una representación está determinada por el par $(P, \ell)$. Una representación puede ser óptima para una pérdida y, intrínsecamente, insuficiente para otra, incluso cuando los datos de origen y destino provienen de la misma distribución.

La importancia radica en complementar el desplazamiento de distribución como un mecanismo fundamental en el aprendizaje por transferencia. Identifica que la transferencia congelada falla no solo cuando los datos cambian, sino también cuando el objetivo cambia, específicamente cuando la pérdida de destino refina estrictamente la pérdida de origen. El marco proporciona una herramienta de diagnóstico: si una representación congelada está comprimida respecto al cociente de la pérdida de destino, las cabezas de descenso no pueden recuperar la información descartada relevante para el destino. Esto explica por qué las representaciones equivalentes en clasificación pueden tener diferentes rendimientos óptimos de log-loss y motiva el uso de pérdidas alineadas con el destino durante el preentrenamiento o la evitación de una compresión agresiva cuando la tarea de descenso requiere distinciones probabilísticas más finas.