Resumen Técnico: Fundamentación de la Similitud Funcional mediante el Cosido de Modelos Consciente de la Invarianza

Declaración del Problema

La evaluación de la similitud funcional tiene como objetivo cuantificar la medida en que redes neuronales entrenadas de forma independiente aprenden relaciones entrada-salida similares. Un método prominente para esto es el cosido de modelos (model stitching), donde las capas iniciales (modelo frontal) de una red se conectan con las capas posteriores (modelo final) de otra mediante una capa de alineación entrenable. Si la composición cosida resultante mantiene un alto rendimiento, se considera que los modelos son funcionalmente similares.

Sin embargo, estudios recientes (p. ej., Smith et al., 2025) han identificado una limitación crítica en el cosido de modelos estándar: este depende exclusivamente de la compatibilidad hacia adelante (forward compatibility). Esto significa que solo evalúa si las representaciones del modelo frontal pueden alinearse para resolver la tarea del modelo final. En consecuencia, los modelos que dependen de pistas de información fundamentalmente diferentes (p. ej., color frente a forma, o características robustas frente a no robustas) aún pueden producir representaciones compatibles, lo que conduce a evaluaciones "engañosas" de similitud. Además, el cosido estándar puede explotar pistas predictivas no vistas previamente (atajos o shortcuts) para lograr la alineación, ocultando aún más las discrepancias funcionales reales.

Los autores argumentan que el cosido estándar es inherentemente ciego a las propiedades de invarianza de los modelos. Específicamente, no tiene en cuenta la dirección hacia atrás: si el modelo final procesa las representaciones cosidas de una manera consistente con cómo procesa sus propias representaciones nativas, particularmente en lo que respecta a las invarianzas compartidas.

Metodología

1. Requisito de Compatibilidad Hacia Adelante y Hacia Atrás

Para abordar las limitaciones de la evaluación de solo dirección hacia adelante, los autores introducen un requisito de compatibilidad hacia adelante y hacia atrás (forward–backward compatibility). Este marco postula que para que dos modelos sean funcionalmente similares, deben satisfacer dos condiciones:

• Compatibilidad hacia adelante: Las representaciones del modelo frontal pueden alinearse con el modelo final para resolver la tarea.
• Compatibilidad hacia atrás: Para entradas que el modelo frontal representa de manera idéntica (Representaciones Idénticas), el modelo final debe procesar estas representaciones de manera similar, ya sea que se originen del modelo frontal o de su propio camino nativo.

Este requisito asegura que la composición cosida respete las clases de invarianza inducidas por el modelo frontal.

2. Cosido de Modelos Consciente de la Invarianza

Los autores operacionalizan este requisito a través del Cosido de Modelos Consciente de la Invarianza. El mecanismo central involucra:

• Entradas Representadas Idénticamente (IRIs): Utilizando un modelo frontal $f_{\le i}$, generan un conjunto de datos $D_{IRIs}$ donde las entradas $x'$ se optimizan para producir representaciones casi idénticas a las entradas originales $x$ en la capa de cosido ($||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$).
• Protocolo de Entrenamiento: La capa de cosido se entrena en $D_{IRIs}$ (usando las representaciones del modelo frontal) pero se evalúa en el conjunto de prueba estándar $D_{test}$.
• Lógica: Si los modelos son verdaderamente similares en función, la alineación de cosido aprendida en las IRIs debería generalizarse al conjunto de prueba estándar. Si la alineación depende de pistas específicas de la generación de las IRIs o no respeta las invarianzas del modelo final, el rendimiento caerá, revelando las discrepancias funcionales.

3. Objetivos de Alineación de Cosido

El artículo evalúa varios objetivos de alineación para establecer la transformación de cosido $T_\theta$:

• Emparejamiento de Etiquetas Duras (HLM): Minimiza la entropía cruzada entre la salida cosida y las etiquetas de verdad de campo (ground truth).
• Emparejamiento de Etiquetas Blandas (SLM): Minimiza la entropía cruzada entre la salida cosida y las predicciones blandas del modelo final independiente.
• Emparejamiento Directo (DM): Minimiza la distancia $L_2$ entre la salida del modelo frontal y las características intermedias del modelo final en el nivel de cosido.
• Alineación de Latencia Funcional (FuLA): Un nuevo objetivo propuesto por los autores. Minimiza la distancia entre las características internas de la composición cosida y las características del modelo final a través de múltiples capas (desde el nivel de cosido hasta la capa penúltima), imitando efectivamente el flujo de procesamiento interno del modelo final sin depender de las etiquetas de salida.

Principales Contribuciones

1. Identificación de Modos de Fallo: Los autores demuestran que el cosido de modelos estándar (incluso bajo SLM y DM, no solo HLM) falla al distinguir entre modelos que dependen de diferentes pistas de información. Muestran que estos métodos pueden producir puntuaciones de similitud altas incluso cuando los modelos utilizan pistas visuales distintas (p. ej., atajos de píxeles) o cuando un modelo es robusto y el otro no lo es.
2. Marco Consciente de la Invarianza: Proponen y validan el cosido de modelos consciente de la invarianza como un enfoque más fundamentado. Al imponer la compatibilidad hacia adelante y hacia atrás, este método revela las discrepancias funcionales que el cosido estándar oculta.
3. Reevaluación de la Robustez: El artículo revisita la similitud funcional entre redes robustas (entrenadas adversariamente) y no robustas. Mientras que trabajos anteriores sugirieron que son funcionalmente similares, los autores muestran que, bajo el cosido consciente de la invarianza, exhiben incompatibilidades funcionales significativas, particularmente en cómo manejan las perturbaciones adversarias.
4. Análisis de los Objetivos de Alineación: El estudio analiza la interacción entre diferentes objetivos de cosido. Encuentra que, si bien FuLA y SLM generalmente producen una mayor similitud funcional, el Emparejamiento Directo (DM) a menudo revela desalineación a nivel latente. Los autores destacan un compromiso (trade-off): los objetivos que imponen una alineación latente más estricta (como DM) pueden ser menos propensos a explotar pistas no vistas, pero podrían generar puntuaciones de similitud general más bajas.

Resultados Experimentales

Los autores realizaron experimentos en tareas de clasificación de imágenes utilizando CIFAR-10, LS-ImageNet-10 e ImageNet-100 con arquitecturas que incluyen ResNet-18, VGG-16, ViT-Tiny y ViT-Base.

• Diferentes Pistas de Información: Al coser modelos entrenados en diferentes variantes de CIFAR-10 (p. ej., uno entrenado con atajos de píxeles), el cosido estándar mostró una alta similitud en capas profundas. En contraste, el cosido consciente de la invarianza mostró una caída brusca en la similitud para la configuración de sesgo cruzado, identificando correctamente la falta de similitud funcional.
• Información Predictiva No Vista: Se encontró que las formulaciones de cosido estándar explotan "atajos" (pistas predictivas no presentes en los datos de entrenamiento originales) para alinear los modelos. El cosido consciente de la invarianza mitigó sustancialmente este comportamiento, reduciendo el "acuerdo excesivo" a casi cero cuando tales pistas no estaban disponibles.
• Modelos Robustos vs. No Robustos: El cosido estándar sugirió que los modelos robustos y no robustos son funcionalmente similares. El cosido consciente de la invarianza reveló que los modelos robustos comparten una estructura de representación más consistente entre sí, mientras que los modelos no robustos desarrollan invarianzas idiosincrásicas que no se comparten con los modelos robustos.
• Comparación de Objetivos: FuLA y SLM generalmente lograron una similitud funcional comparable, mientras que DM a menudo resultó en puntuaciones de similitud más bajas, lo que sugiere que existe una desalineación en el nivel de la representación de características incluso antes de la capa de salida.

Significado y Reivindicaciones

El artículo afirma que el cosido de modelos consciente de la invarianza proporciona una métrica más fundamentada y de principios para la similitud funcional. Al ir más allá de la compatibilidad hacia adelante para incluir la compatibilidad hacia atrás, el método evita conclusiones erróneas donde los modelos parecen similares simplemente porque pueden alinearse para resolver una tarea, a pesar de depender de mecanismos subyacentes diferentes.

Los autores enfatizan que su enfoque revela "discrepancias funcionales previamente ocultas", ofreciendo una comprensión más detallada de cómo operan internamente las redes neuronales. Concluyen que evaluar la similitud desde múltiples perspectivas (hacia adelante y hacia atrás) es esencial para evaluar con precisión el funcionamiento interno de las redes neuronales profundas, particularmente en contextos que involucran robustez y diversos objetivos de entrenamiento.

Limitaciones: Los autores reconocen la ausencia de una noción de "oráculo" de la similitud funcional, lo que significa que las conclusiones definitivas sobre qué configuración es la "más fiel" siguen siendo desafiantes. Además, el estudio está actualmente limitado a modelos de clasificación de imágenes.