Resumo Técnico: Unindo Similaridade Funcional e Representacional via Informação Utilizável

Declaração do Problema

O campo do aprendizado profundo depende fortemente da comparação de representações neurais internas para entender como diferentes sistemas processam informações, transferem conhecimento e organizam estruturas. No entanto, a literatura atualmente carece de um quadro unificado para definir e medir a "similaridade" entre representações. As abordagens existentes são tipicamente bifurcadas em duas categorias loosely definidas:

1. Similaridade Funcional: Avaliar se as representações suportam os mesmos comportamentos a jusante (por exemplo, via costura de modelos ou sondas lineares).
2. Similaridade Representacional: Avaliar se as representações codificam informações de entrada da mesma maneira estrutural (por exemplo, via CKA, RSA ou análise de Procrustes).

Esses conceitos foram estudados isoladamente, levando a uma desconexão entre métodos funcionais (que focam no desempenho da tarefa) e métricas geométricas (que focam no alinhamento do espaço de características). Além disso, métricas padrão frequentemente carecem de fundamentação teórica rigorosa sobre o que informação está sendo realmente comparada ou como a capacidade do observador (o modelo preditivo) influencia a medição.

Metodologia

Os autores propõem um quadro unificado fundamentado na Teoria da Informação Utilizável (Xu et al., 2020). Essa teoria restringe o fluxo de informação a uma específica "família preditiva" $\mathcal{V}$, reconhecendo que nem toda dependência estatística em uma representação é explorável por um modelo a jusante de capacidade limitada.

Quadro Teórico

O artigo redefine a similaridade através da lente da informação mútua condicional e coberturas de Markov:

• Similaridade Funcional: Duas representações $Z_1$ e $Z_2$ são funcionalmente similares em relação a uma tarefa $Y$ se formarem coberturas de Markov mútuas. Isso implica $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$. Os autores formalizam a Costura de Modelos como um mecanismo para estimar isso: se $Z_1$ pode ser costurado em $Z_2$ sem perda de desempenho, $Z_1$ contém todas as informações relevantes para a tarefa de $Z_2$. Crucialmente, eles provam que essa relação é inerentemente assimétrica; uma similaridade funcional robusta requer costura bidirecional.
• Similaridade Representacional: Definida como similaridade funcional onde a tarefa $Y$ é a própria entrada $X$ ($I(X; Z_2 | Z_1) = 0$). Isso implica que as representações contêm informações idênticas sobre a entrada.
• Hierarquia de Granularidade: Os autores estabelecem uma relação monótona: similaridade em uma tarefa complexa garante similaridade em qualquer tarefa derivada mais grosseira. Consequentemente, a similaridade representacional (reconstruir a entrada) é a condição mais forte, garantindo similaridade funcional para todas as tarefas derivadas.

Metodologia Empírica

Para validar essas alegações teóricas, os autores conduziram um estudo empírico em grande escala envolvendo:

• Escala: 58 modelos treinados através de 14 arquiteturas distintas (incluindo Lineares, CNNs como ResNet, DenseNet, ShuffleNet e MobileNet) e 6 conjuntos de dados (MNIST, CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet).
• Comparações: 12.459 comparações distintas entre camadas.
• Famílias de Costura: O estudo utilizou três famílias específicas de costureiros (famílias preditivas $\mathcal{V}$) para testar o impacto da expressividade:
  1. Afin: Mapas lineares não restritos.
  2. Ortogonal + Escala Isotrópica: Restrições semelhantes a Procrustes.
  3. Ortogonal: Restrições estritas de rotação.
• Métricas: Os autores compararam métricas padrão (CKA, RSA, SVCCA) contra suas pontuações propostas baseadas em informação utilizável (erro de reconstrução normalizado).

Contribuições Principais

1. Quadro Unificado via Informação Utilizável: O artigo conecta teoricamente a costura de modelos à informação mútua condicional utilizável. Demonstra que a similaridade funcional não é uma propriedade absoluta, mas é definida relativamente à capacidade da família preditiva $\mathcal{V}$.
2. Reinterpretação de Métricas Padrão: Os autores mostram empirica e teoricamente que métricas geométricas padrão (CKA, RSA, Procrustes) não são medidas arbitrárias, mas estimadores específicos de informação utilizável sob restrições específicas (por exemplo, transformações ortogonais).
3. A Hierarquia de Similaridade:
   • Assimetria: Eles provam que a costura é inerentemente assimétrica; um único costureiro direcional é insuficiente para afirmar similaridade funcional.
   • Suficiência vs. Necessidade: Eles demonstram que a similaridade representacional é uma condição suficiente, mas não necessária para similaridade funcional. Representações podem ser funcionalmente similares (resolvendo a mesma tarefa) enquanto são representacionalmente distintas (codificando diferentes variáveis de incômodo).
   • Granularidade da Tarefa: Eles estabelecem que a similaridade representacional (reconstrução de entrada) é o limite de máxima granularidade, garantindo similaridade funcional para todas as tarefas mais grosseiras.

Resultados Experimentais

• Assimetria de Costura: A análise de 12.459 pares revelou uma distribuição de cauda pesada das diferenças de precisão entre costureiros direcionais e reversos, confirmando que a similaridade funcional é frequentemente assimétrica. Uma representação frequentemente contém a informação de outra sem que o inverso seja verdadeiro.
• Monotonicidade da Similaridade Representacional: O estudo validou que as pontuações de similaridade representacional aumentam à medida que a família preditiva se torna mais expressiva. Representações que parecem distintas sob restrições rígidas de Procrustes (Ortogonal) frequentemente parecem quase idênticas sob transformações Afins mais expressivas.
• Alinhamento de Métricas: Métricas padrão mostraram forte correlação com as pontuações de informação utilizável propostas. Especificamente, CKA ($R^2=0.937$) e RSA ($R^2=0.912$) alinharam-se estreitamente com a similaridade representacional derivada de costureiros Ortogonais + Escala, apoiando a hipótese de que essas métricas atuam como proxies para informação utilizável sob grupos de transformação específicos.
• Validação da Hierarquia: Usando CIFAR-100 (classes finas vs. superclasses grosseiras), os autores confirmaram que a similaridade funcional em uma tarefa grosseira consistentemente limita superiormente a similaridade na tarefa fina.
• Suficiência da Similaridade Representacional: À medida que a similaridade representacional se aproximava de 1,0, a probabilidade de similaridade funcional convergia para 1,0. No entanto, alta similaridade funcional foi frequentemente observada mesmo com baixa similaridade representacional, confirmando que a similaridade representacional não é uma condição necessária.

Significado e Alegações

O artigo alega resolver a desconexão entre similaridade funcional e representacional fundamentando ambas na teoria da informação utilizável. Os autores argumentam que a similaridade não é uma propriedade intrínseca das representações sozinhas, mas é relativa às restrições computacionais da família preditiva usada para compará-las.

Ao unificar esses conceitos, o artigo fornece uma justificativa teórica rigorosa para o funcionamento das métricas padrão e sob quais condições elas falham. Desloca o paradigma da busca por uma métrica de similaridade "universal" para definir explicitamente a família preditiva $\mathcal{V}$ que dita o que "similar" significa para uma aplicação específica. O trabalho conclui que, embora a similaridade representacional garanta similaridade funcional em todas as tarefas, o inverso não é verdadeiro, destacando que modelos podem alcançar desempenho de tarefa idêntico através de representações internas fundamentalmente diferentes.