🤖 machine learning

Bridging Functional and Representational Similarity via Usable Information

Este artículo presenta un marco unificado que cuantifica la similitud de representaciones a través de la lente de la información utilizable, estableciendo vínculos formales entre el rendimiento de la costura y la información mutua condicional, al tiempo que demuestra que la similitud de representaciones es relativa a la capacidad predictiva y suficiente pero no necesaria para la similitud funcional.

Autores originales: Antonio Almudévar, Alfonso Ortega

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Antonio Almudévar, Alfonso Ortega

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos chefs diferentes (redes neuronales) que han aprendido a cocinar un plato específico, como una lasaña perfecta. Quieres saber: ¿Están estos dos chefs usando realmente la misma "receta" en sus mentes, o simplemente están llegando al mismo resultado delicioso mediante métodos totalmente diferentes?

Este artículo, titulado "Bridging Functional and Representational Similarity via Usable Information" (Uniendo la similitud funcional y representacional mediante información utilizable), es una guía para responder a esa pregunta. Propone una nueva forma de medir cuán similares son realmente dos modelos de IA examinando la "información utilizable" que contienen, en lugar de simplemente comparar sus resultados brutos.

Aquí tienes el desglose de sus hallazgos utilizando analogías sencillas:

1. Las dos formas de comparar chefs

Los autores argumentan que normalmente observamos la similitud de dos maneras diferentes, pero a menudo las confundimos:

Similitud Funcional (La "prueba de sabor"): Esto pregunta: "Si le doy las notas del Chef A al Chef B, ¿puede el Chef B seguir haciendo la lasaña?". Si el Chef B puede tomar las notas intermedias del Chef A y terminar el trabajo perfectamente, son funcionalmente similares. No importa si sus notas se ven diferentes en el papel; lo que importa es si la información es utilizable para obtener el resultado.
Similitud Representacional (La "revisión del cuaderno"): Esto pregunta: "¿Escriben el Chef A y el Chef B sus notas con la misma caligrafía y formato exactos?". Esto examina la estructura interna de los datos. Si sus notas son geométricamente idénticas, son representacionalmente similares.

2. El gran descubrimiento: El problema de la "calle de un solo sentido"

El artículo revela una falla crucial en cómo solemos probar a estos chefs. A menudo intentamos traducir las notas del Chef A al estilo del Chef B (un proceso llamado "costura" o stitching) y vemos si funciona.

El hallazgo: Esta traducción a menudo es una calle de un solo sentido.
La analogía: Imagina que el Chef A escribe notas en un diario detallado de alta definición. El Chef B escribe en un cuaderno de bocetos toscos. Puedes traducir fácilmente el diario a un boceto (pierdes detalle, pero la idea principal permanece). Pero no puedes traducir el boceto tosco de vuelta a un diario detallado porque la información se perdió en el boceto.
La lección: Para afirmar verdaderamente que dos modelos son similares, debes poder traducir en ambos sentidos. Si solo puedes ir de A a B, pero no de B a A, no son verdaderamente funcionalmente similares. El artículo demuestra que la "costura" es inherentemente asimétrica.

3. El "observador" importa (¿Quién está leyendo las notas?)

El artículo introduce un concepto fascinante: La similitud depende de quién lee las notas.

La analogía: Imagina un mapa complejo.
- Si eres un observador rígido (alguien que solo entiende líneas rectas y ángulos rectos), dos mapas podrían parecer completamente diferentes e inútiles para ti.
- Si eres un observador flexible (alguien que entiende curvas, ángulos y formas tridimensionales), esos mismos dos mapas podrían parecerte idénticos.
La lección: Dos modelos de IA podrían parecer muy diferentes para una herramienta matemática simple (como una línea recta), pero si usas una herramienta más poderosa (una red neuronal compleja) para leerlos, podrían resultar ser exactamente iguales. La "similitud" no es un hecho absoluto; depende de la complejidad de la herramienta que uses para medirla.

4. La jerarquía: La "imagen completa" frente a la "tarea específica"

Los autores establecen una jerarquía clara entre los dos tipos de similitud:

La Similitud Representacional es la "llave maestra": Si dos modelos tienen las notas internas exactas (Similitud Representacional), se garantiza que podrán resolver cualquier tarea que les presentes, desde la más difícil hasta la más fácil.
La Similitud Funcional es la "llave específica": Si dos modelos pueden resolver una tarea específica (como identificar un gato), son funcionalmente similares para esa tarea. Sin embargo, podrían haber descartado otra información (como el color del pelaje del gato) que no es necesaria para esa tarea específica.
La conclusión: Tener la "llave maestra" (Similitud Representacional) garantiza que tienes la "llave específica" (Similitud Funcional). Pero tener la "llave específica" no garantiza que tengas la llave maestra. Podrías ser capaz de abrir la puerta principal (resolver la tarea) sin tener el plano de toda la casa (la representación completa).

5. Las herramientas antiguas son en realidad herramientas nuevas disfrazadas

Finalmente, el artículo examina las herramientas estándar que los científicos utilizan hoy en día (como CKA, RSA y la costura).

El hallazgo: Estas no son solo trucos matemáticos aleatorios. En realidad están midiendo "información utilizable" bajo restricciones específicas.
La analogía: Piensa en estas herramientas como diferentes tipos de reglas. Una regla estándar mide longitudes. Una cinta métrica flexible mide curvas. El artículo muestra que cuando usamos estas diferentes "reglas", esencialmente le preguntamos a los modelos: "¿Puedes resolver este problema si solo se te permite usar líneas rectas?" o "¿Puedes resolverlo si puedes usar curvas?".
El resultado: El artículo demuestra que estas herramientas estándar son realmente muy buenas para estimar cuánta "información utilizable" comparten los modelos, siempre que comprendas qué tipo de "regla" (o familia predictiva) estás utilizando.

Resumen

En resumen, este artículo nos dice:

No verifiques solo una dirección: Para ver si dos modelos de IA son verdaderamente similares, debes poder traducir su conocimiento de ida y vuelta.
El contexto es el rey: La similitud depende de cuán complejo sea el "lector". Un lector simple podría ver dos modelos como diferentes, mientras que un lector complejo los ve como idénticos.
El todo frente a la parte: Si dos modelos son idénticos en su estructura interna, pueden hacer cualquier cosa. Pero si pueden hacer una cosa específica, podrían seguir siendo muy diferentes internamente.
Las herramientas antiguas son útiles: Las formas estándar en que medimos la similitud de la IA son en realidad válidas, pero están midiendo tipos específicos de "información utilizable" basados en la complejidad de las herramientas que usamos.

Resumen Técnico: Uniendo la Similitud Funcional y Representacional a través de Información Utilizable

Declaración del Problema

El campo del aprendizaje profundo depende en gran medida de comparar representaciones neuronales internas para comprender cómo diferentes sistemas procesan información, transfieren conocimiento y organizan estructuras. Sin embargo, la literatura carece actualmente de un marco unificado para definir y medir la "similitud" entre representaciones. Los enfoques existentes suelen bifurcarse en dos categorías débilmente definidas:

Similitud Funcional: Evaluar si las representaciones soportan los mismos comportamientos aguas abajo (por ejemplo, mediante costura de modelos o sondas lineales).
Similitud Representacional: Evaluar si las representaciones codifican la información de entrada de la misma manera estructural (por ejemplo, mediante CKA, RSA o análisis de Procrustes).

Estos conceptos han sido estudiados de forma aislada, lo que ha llevado a una desconexión entre los métodos funcionales (que se centran en el rendimiento de la tarea) y las métricas geométricas (que se centran en la alineación del espacio de características). Además, las métricas estándar a menudo carecen de una base teórica rigurosa sobre qué información se está comparando realmente o cómo la capacidad del observador (el modelo predictivo) influye en la medición.

Metodología

Los autores proponen un marco unificado fundamentado en la Teoría de la Información Utilizable (Xu et al., 2020). Esta teoría restringe el flujo de información a una "familia predictiva" específica $\mathcal{V}$ , reconociendo que no toda la dependencia estadística en una representación es explotable por un modelo aguas abajo de capacidad limitada.

Marco Teórico

El artículo redefine la similitud a través de la lente de la información mutua condicional y los mantos de Markov:

Similitud Funcional: Dos representaciones $Z_1$ y $Z_2$ son funcionalmente similares con respecto a una tarea $Y$ si forman mantos de Markov mutuos. Esto implica $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$ . Los autores formalizan la Costura de Modelos como un mecanismo para estimar esto: si $Z_1$ puede ser cosido en $Z_2$ sin pérdida de rendimiento, $Z_1$ contiene toda la información relevante para la tarea de $Z_2$ . Crucialmente, demuestran que esta relación es inherentemente asimétrica; una similitud funcional robusta requiere costura bidireccional.
Similitud Representacional: Definida como similitud funcional donde la tarea $Y$ es la propia entrada $X$ ( $I(X; Z_2 | Z_1) = 0$ ). Esto implica que las representaciones contienen información idéntica sobre la entrada.
Jerarquía de Granularidad: Los autores establecen una relación monótona: la similitud en una tarea compleja garantiza la similitud en cualquier tarea derivada más gruesa. En consecuencia, la similitud representacional (reconstruir la entrada) es la condición más fuerte, garantizando la similitud funcional para todas las tareas derivadas.

Metodología Empírica

Para validar estas afirmaciones teóricas, los autores realizaron un estudio empírico a gran escala que involucró:

Escala: 58 modelos entrenados a través de 14 arquitecturas distintas (incluyendo Lineales, CNNs como ResNet, DenseNet, ShuffleNet y MobileNet) y 6 conjuntos de datos (MNIST, CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet).
Comparaciones: 12.459 comparaciones distintas entre capas.
Familias de Costura: El estudio utilizó tres familias específicas de cosedores (familias predictivas $\mathcal{V}$ $V$ ) para probar el impacto de la expresividad:
1. Afín: Mapas lineales sin restricciones.
2. Ortogonal + Escalamiento Isotrópico: Restricciones tipo Procrustes.
3. Ortogonal: Restricciones estrictas de rotación.
Métricas: Los autores compararon métricas estándar (CKA, RSA, SVCCA) contra sus puntuaciones propuestas basadas en información utilizable (error de reconstrucción normalizado).

Contribuciones Clave

Marco Unificado a través de Información Utilizable: El artículo vincula teóricamente la costura de modelos con la información mutua condicional utilizable. Demuestra que la similitud funcional no es una propiedad absoluta, sino que se define en relación con la capacidad de la familia predictiva $\mathcal{V}$ .
Reinterpretación de Métricas Estándar: Los autores muestran empíricamente y teóricamente que las métricas geométricas estándar (CKA, RSA, Procrustes) no son medidas arbitrarias, sino estimadores específicos de información utilizable bajo restricciones específicas (por ejemplo, transformaciones ortogonales).
La Jerarquía de Similitud:
- Asimetría: Demuestran que la costura es inherentemente asimétrica; un único cosedor direccional es insuficiente para afirmar similitud funcional.
- Suficiencia vs. Necesidad: Demuestran que la similitud representacional es una condición suficiente pero no necesaria para la similitud funcional. Las representaciones pueden ser funcionalmente similares (resolver la misma tarea) mientras son representacionalmente distintas (codificando diferentes variables de molestia).
- Granularidad de la Tarea: Establecen que la similitud representacional (reconstrucción de entrada) es el límite de máxima granularidad, garantizando la similitud funcional para todas las tareas más gruesas.

Resultados Experimentales

Asimetría de la Costura: El análisis de 12.459 pares reveló una distribución de cola pesada de las diferencias de precisión entre cosedores directos e inversos, confirmando que la similitud funcional es frecuentemente asimétrica. Una representación a menudo contiene la información de otra sin que lo contrario sea cierto.
Monotonía de la Similitud Representacional: El estudio validó que las puntuaciones de similitud representacional aumentan a medida que la familia predictiva se vuelve más expresiva. Las representaciones que parecen distintas bajo restricciones rígidas de Procrustes (Ortogonal) a menudo parecen casi idénticas bajo transformaciones Afines más expresivas.
Alineación de Métricas: Las métricas estándar mostraron una fuerte correlación con las puntuaciones de información utilizable propuestas. Específicamente, CKA ( $R^2=0.937$ ) y RSA ( $R^2=0.912$ ) se alinearon estrechamente con la similitud representacional derivada de cosedores Ortogonales + Escalamiento, apoyando la hipótesis de que estas métricas actúan como proxies de información utilizable bajo grupos de transformación específicos.
Validación de la Jerarquía: Utilizando CIFAR-100 (clases finas vs. superclases gruesas), los autores confirmaron que la similitud funcional en una tarea gruesa limita consistentemente superiormente la similitud en la tarea fina.
Suficiencia de la Similitud Representacional: A medida que la similitud representacional se acercaba a 1.0, la probabilidad de similitud funcional convergía a 1.0. Sin embargo, se observó frecuentemente alta similitud funcional incluso con baja similitud representacional, confirmando que la similitud representacional no es una condición necesaria.

Significado y Afirmaciones

El artículo afirma resolver la desconexión entre la similitud funcional y representacional fundamentando ambas en la teoría de la información utilizable. Los autores argumentan que la similitud no es una propiedad intrínseca de las representaciones por sí solas, sino que es relativa a las restricciones computacionales de la familia predictiva utilizada para compararlas.

Al unificar estos conceptos, el artículo proporciona una justificación teórica rigurosa de por qué funcionan las métricas estándar y bajo qué condiciones fallan. Cambia el paradigma de buscar una métrica de similitud "universal" a definir explícitamente la familia predictiva $\mathcal{V}$ que dicta qué significa "similar" para una aplicación específica. El trabajo concluye que, aunque la similitud representacional garantiza la similitud funcional en todas las tareas, lo contrario no es cierto, destacando que los modelos pueden lograr un rendimiento de tarea idéntico a través de representaciones internas fundamentalmente diferentes.