Resumo Técnico: Fundamentando a Similaridade Funcional por meio de Costura de Modelos Consciente de Invariância

Declaração do Problema

A avaliação de similaridade funcional visa quantificar a extensão em que redes neurais treinadas independentemente aprendem relações entrada-saída semelhantes. Um método proeminente para isso é a costura de modelos (model stitching), onde as camadas iniciais (modelo frontal) de uma rede são conectadas às camadas posteriores (modelo final) de outra via uma camada de alinhamento treinável. Se a composição costurada resultante mantiver um alto desempenho, os modelos são considerados funcionalmente similares.

No entanto, estudos recentes (ex: Smith et al., 2025) identificaram uma limitação crítica na costura de modelos padrão: ela depende exclusivamente da compatibilidade direta (forward compatibility). Isso significa que ela apenas avalia se as representações do modelo frontal podem ser alinhadas para resolver a tarefa do modelo final. Consequentemente, modelos que dependem de pistas de informação fundamentalmente diferentes (ex: cor vs. forma, ou características robustas vs. não robustas) ainda podem produzir representações compatíveis, levando a avaliações "enganosas" de similaridade. Além disso, a costura padrão pode explorar pistas preditivas não vistas anteriormente (shortcuts) para alcançar o alinhamento, obscurecendo ainda mais as discrepâncias funcionais reais.

Os autores argumentam que a costura padrão é inerentemente cega para as propriedades de invariância dos modelos. Especificamente, ela falha em considerar a direção reversa: se o modelo final processa as representações costuradas de maneira consistente com a forma como processa suas próprias representações nativas, particularmente em relação às invariâncias compartilhadas.

Metodologia

1. Requisito de Compatibilidade Direta e Reversa

Para abordar as limitações da avaliação apenas direta, os autores introduzem um requisito de compatibilidade direta-reversa (forward–backward compatibility). Este framework postula que, para dois modelos serem funcionalmente similares, eles devem satisfazer duas condições:

• Compatibilidade Direta: As representações do modelo frontal podem ser alinhadas ao modelo final para resolver a tarefa.
• Compatibilidade Reversa: Para entradas que o modelo frontal representa identicamente (Representações Indistinguíveis), o modelo final deve processar essas representações de maneira semelhante, quer elas se originem do modelo frontal ou de seu próprio caminho nativo.

Este requisito garante que a composição costurada respeite as classes de invariância induzidas pelo modelo frontal.

2. Costura de Modelo Consciente de Invariância

Os autores operacionalizam este requisito através da Costura de Modelo Consciente de Invariância. O mecanismo central envolve:

• Entradas Representadas Identicamente (IRIs): Usando um modelo frontal $f_{\le i}$, eles geram um conjunto de dados $D_{IRIs}$ onde as entradas $x'$ são otimizadas para produzir representações quase idênticas às entradas originais $x$ no nível da costura ($||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$).
• Protocolo de Treinamento: A camada de costura é treinada em $D_{IRIs}$ (usando as representações do modelo frontal), mas avaliada no conjunto de teste padrão $D_{test}$.
• Lógica: Se os modelos forem verdadeiramente similares em função, o alinhamento de costura aprendido nos IRIs deve se generalizar para o conjunto de teste padrão. Se o alinhamento depender de pistas específicas da geração dos IRIs ou falhar em respeitar as invariâncias do modelo final, o desempenho cairá, revelando discrepâncias funcionais.

3. Objetivos de Alinhamento de Costura

O artigo avalia vários objetivos de alinhamento para estabelecer a transformação de costura $T_\theta$:

• Correspondência de Rótulo Rígido (HLM - Hard Label Matching): Minimiza a entropia cruzada entre a saída costurada e os rótulos reais (ground truth).
• Correspondência de Rótulo Suave (SLM - Soft Label Matching): Minimiza a entropia cruzada entre a saída costurada e as predições suaves do modelo final autônomo.
• Correspondência Direta (DM - Direct Matching): Minimiza a distância $L_2$ entre a saída do modelo frontal e as características intermediárias do modelo final no nível da costura.
• Alinhamento Latente Funcional (FuLA - Functional Latent Alignment): Um novo objetivo proposto pelos autores. Ele minimiza a distância entre as características internas da composição costurada e as características do modelo final ao longo de múltiplas camadas (da camada de costura até a camada penúltima), efetivamente mimetizando o fluxo de processamento interno do modelo final sem depender de rótulos de saída.

Principais Contribuições

1. Identificação de Modos de Falha: Os autores demonstram que a costura de modelos padrão (mesmo sob SLM e DM, não apenas HLM) falha em distinguir entre modelos que dependem de diferentes pistas de informação. Eles mostram que esses métodos podem produzir pontuações de similaridade altas mesmo quando os modelos utilizam pistas visuais distintas (ex: atalhos de pixels) ou quando um modelo é robusto e o outro não é.
2. Framework Consciente de Invariância: Eles propõem e validam a costura de modelos consciente de invariância como uma abordagem mais fundamentada. Ao impor a compatibilidade direta-reversa, este método revela as discrepâncias funcionais que a costura padrão obscurece.
3. Reavaliação de Robustez: O artigo revisita a similaridade funcional entre redes robustas (treinadas adversariamente) e não robustas. Enquanto trabalhos anteriores sugeriam que elas são funcionalmente similares, os autores mostram que, sob a costura consciente de invariância, elas exibem incompatibilidades funcionais significativas, particularmente sobre como lidam com perturbações adversárias.
4. Análise de Objetivos de Alinhamento: O estudo analisa a interação entre diferentes objetivos de costura. Constata-se que, embora o FuLA e o SLM geralmente produzam maior similaridade funcional, o Direct Matching (DM) frequentemente revela desalinhamento no nível latente. Os autores destacam um trade-off: objetivos que impõem um alinhamento latente mais estrito (como o DM) podem ser menos propensos a explorar pistas não vistas, mas podem resultar em pontuações de similaridade geral mais baixas.

Resultados Experimentais

Os autores conduziram experimentos em tarefas de classificação de imagens usando CIFAR-10, LS-ImageNet-10 e ImageNet-100 com arquiteturas incluindo ResNet-18, VGG-16, ViT-Tiny e ViT-Base.

• Diferentes Pistas de Informação: Ao costurar modelos treinados em diferentes variantes do CIFAR-10 (ex: um treinado com atalhos de pixels), a costura padrão mostrou alta similaridade em camadas profundas. Em contraste, a costura consciente de invariância mostrou uma queda acentuada na similaridade para a configuração de viés cruzado (cross-bias), identificando corretamente a falta de similaridade funcional.
• Informação Preditiva Não Vista: Formulações de costura padrão foram encontradas explorando "atalhos" (pistas preditivas não presentes nos dados de treinamento originais) para alinhar os modelos. A costura consciente de invariância mitigou substancialmente esse comportamento, reduzindo o "acordo excessivo" a quase zero quando tais pistas não estavam disponíveis.
• Modelos Robustos vs. Não Robustos: A costura padrão sugeriu que modelos robustos e não robustos eram funcionalmente similares. A costura consciente de invariância revelou que modelos robustos compartilham uma estrutura de representação mais consistente entre si, enquanto modelos não robustos desenvolvem invariâncias idiossincráticas que não são compartilhadas com os modelos robustos.
• Comparação de Objetivos: O FuLA e o SLM geralmente alcançaram similaridade funcional comparável, enquanto o DM frequentemente resultou em pontuações de similaridade mais baixas, sugerindo que o desalinhamento existe no nível da representação de características, antes mesmo da camada de saída.

Significância e Alegações

O artigo alega que a costura de modelos consciente de invariância fornece uma métrica mais fundamentada e principista para a similaridade funcional. Ao ir além da compatibilidade direta para incluir a compatibilidade reversa, o método evita conclusões enganosas onde os modelos parecem similares simplesmente porque podem ser alinhados para resolver uma tarefa, apesar de dependerem de mecanismos subjacentes diferentes.

Os autores enfatizam que sua abordagem revela "discrepâncias funcionais previamente obscurecidas", oferecendo uma compreensão mais refinada de como as redes neurais operam internamente. Eles concluem que avaliar a similaridade a partir de múltiplas perspectivas (direta e reversa) é essencial para avaliar com precisão o funcionamento interno das redes neurais profundas, particularmente em contextos envolvendo robustez e diversos objetivos de treinamento.

Limitações: Os autores reconhecem a ausência de uma noção de "oráculo" para similaridade funcional, o que significa que conclusões definitivas sobre qual configuração é a "mais fiel" permanecem desafiadoras. Adicionalmente, o estudo é atualmente limitado a modelos de classificação de imagens.