🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

Este artigo propõe um framework robusto para comunicação entre modelos que melhora as Representações Relativas tradicionais ao aprender protótipos de âncoras semânticas e empregar uma métrica de similaridade ciente da geometria, permitindo, assim, uma transferência de informação estável e quase sem perdas entre arquiteturas neurais heterogêneas.

Autores originais: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tenha dois tradutores diferentes que falam a mesma língua, mas usam dicionários e estruturas de frases completamente diferentes. Um tradutor (Modelo A) descreve um "rei" como uma figura alta e dourada, enquanto o outro (Modelo B) descreve um "rei" como uma figura baixa e azul. Se você tentar dar ao Modelo B uma nota escrita pelo Modelo A, ele não entenderá porque as coordenadas não coincidem.

Este é o problema que as Representações Relativas tentam resolver. Em vez de tentar forçar o Modelo A e o Modelo B a concordarem com as coordenadas exatas de um "rei", eles concordam em um conjunto de marcos (âncoras). Eles dizem: "Ok, independentemente de como você desenha o mapa, quão próximo o 'rei' está da 'rainha' e do 'castelo'?" Se ambos os modelos concordarem com as distâncias até esses marcos, eles podem conversar entre si, mesmo que seus mapas internos pareçam totalmente diferentes.

No entanto, a forma antiga de fazer isso tinha duas grandes falhas, que este artigo corrige com um novo sistema chamado PARAM e WIP.

O Problema com a Forma Antiga

Marcos Aleatórios: O método antigo escolhia marcos jogando dardos em um mapa. Às vezes, você acabava escolhendo vários dardos que caíam no mesmo lugar (redundância), ou deixava de cobrir áreas enormes do mapa por completo. Isso significava que a "tradução" era frequentemente borrada ou perdia detalhes importantes.
A Régua Errada: O método antigo usava uma régua que media apenas ângulos (direção), mas ignorava a distância (magnitude). Imagine tentar medir uma sala onde o chão é esticado de forma desigual. Se você olhar apenas para o ângulo de um canto, pode pensar que uma sala pequena e esticada é a mesma que uma sala grande e normal. Isso fazia com que a "tradução" quebrasse quando os modelos eram muito diferentes entre si (como um modelo de linguagem pequeno conversando com um gigante).

A Nova Solução: PARAM e WIP

1. PARAM: Aprendendo os Melhores Marcos

Em vez de jogar dardos aleatoriamente, os autores ensinam o computador a aprender os marcos perfeitos.

A Analogia: Imagine que você está tentando descrever uma cidade para um amigo. Em vez de escolher esquinas aleatórias, você pergunta à própria cidade: "Quais são os centros mais importantes e estáveis que representam toda a área?"
Como funciona: O sistema cria marcos através da média de grupos de pontos de dados. Isso suaviza o ruído (como tirar várias fotos tremidas para obter uma imagem clara). Esses novos marcos são "protótipos semânticos robustos" — eles são estáveis, cobrem todo o mapa uniformemente e não se confundem com as peculiaridades de um modelo específico.

2. WIP: A Régua Inteligente

Os autores substituíram a antiga régua de "apenas ângulo" por um Produto Interno Branqueado (WIP - Whitened Inner Product).

A Analogia: Pense na régua antiga como um elástico que estica e encolhe dependendo de quem o segura. Se o Modelo A estica o espaço e o Modelo B o espreme, o elástico dará a resposta errada.
Como funciona: A nova régua WIP é "branqueada". Antes de medir, ela matematicamente achata o elástico. Ela corrige o estiramento, o esmagamento e o deslocamento. Crucialmente, ela também presta atenção em quão forte é um sinal (magnitude), não apenas para onde ele aponta. Isso permite que os modelos mantenam detalhes importantes (como "o quão confiante" o modelo é) que o método antigo descartava.

Os Resultados: Tradução "Sem Perdas"

Os autores testaram isso tentando conectar diferentes tipos de modelos de IA:

Visão: Eles conectaram uma CNN (um tipo de modelo de imagem) com um Transformer (um modelo de imagem diferente e mais moderno).
Linguagem: Eles conectaram diferentes modelos de linguagem (como variantes do BERT que falam línguas diferentes: inglês, alemão, francês, etc.).
Pequeno vs. Grande: Eles até conectaram modelos de linguagem minúsculos a modelos muito maiores.

O Resultado:
No passado, tentar costurar esses modelos resultava em um desastre (o novo modelo adivinhava aleatoriamente). Com PARAM e WIP, os modelos se comunicaram quase perfeitamente.

Eles alcançaram o zero-shot stitching: Você podia treinar uma ferramenta nos dados do Modelo A e imediatamente usá-la nos dados do Modelo B sem necessidade de retreinamento.
O desempenho foi quase idêntico ao de usar o modelo original diretamente. Foi como se a "tradução" fosse sem perdas (lossless) — nenhum detalhe foi perdido no processo.

Resumo

Este artigo introduz uma nova maneira de fazer diferentes modelos de IA conversarem entre si.

Pare de adivinhar os marcos: Aprenda os pontos de referência mais estáveis e ideais (PARAM).
Use uma régua melhor: Use uma ferramenta de medição que leve em conta o estiramento e o encolhimento dos dados (WIP).

O resultado é um sistema universal de "plug-and-play" onde você pode substituir o "cérebro" (encoder) de uma IA por um diferente, e o restante do sistema ainda funcionará perfeitamente sem precisar ser retreinado.

Resumo Técnico: Melhorando Representações Relativas com Âncoras Aprendidas e Produtos Escalares Branqueados

1. Definição do Problema

Modelos neurais treinados de forma independente frequentemente convergem para representações latentes que são incompatíveis devido a diferenças em rotação, escalonamento anisotrópico e translação. Isso cria uma barreira fundamental para a construção de sistemas de IA altamente modulares, onde codificadores (encoders) e decodificadores podem ser trocados sem necessidade de retreinamento.

As Representações Relativas (RR) abordam isso mapeando embeddings absolutos para um espaço compartilhado definido por similaridades com um conjunto comum de pontos de ancoragem, em vez de depender de coordenadas absolutas. No entanto, as implementações padrão de RR sofrem de duas limitações principais:

Amostragem de Âncoras Aleatória: Métodos tradicionais utilizam pontos de dados amostrados aleatoriamente como âncoras. Isso frequentemente leva a uma cobertura pobre do manifold de dados, redundância e características relativas de baixo rank, causando perda de informação relevante para a tarefa.
Similaridade de Cosseno: A métrica de similaridade padrão depende exclusivamente de relações angulares, descartando informações de magnitude (que podem codificar confiança da característica) e falhando em considerar as geometrias anisotrópicas comuns em arquiteturas modernas como Transformers. Ela também é instável sob deslocamentos afins e próximo à origem.

Essas limitações resultam em um pobre alinhamento entre espaços e na perda de preservação de informação, impedindo a costura (stitching) zero-shot eficaz entre modelos heterogêneos.

2. Metodologia

Os autores propõem um framework robusto composto por dois componentes principais: PARAM (Representações de Âncora Parametrizadas via Matrizes Adaptativas) e WIP (Produto Escalar Branqueado).

2.1 PARAM: Aprendendo Âncoras como Misturas Convexas

Em vez de tratar as âncoras como um subconjunto fixo e amostrado aleatoriamente dos dados, o PARAM aprende as âncoras como misturas convexas de um conjunto de suporte de pontos de dados paralelos.

Mecanismo: Uma matriz de mistura compartilhada $P$ é otimizada para gerar âncoras $A_i$ para cada espaço de codificador $i$ via $A_i = P X_{sub}^i$ , onde $X_{sub}^i$ é um subconjunto de embeddings.
Restrições: $P$ é restrita a ser estocástica por linha, garantindo que as âncoras permaneçam dentro do hull convexo dos dados.
Benefícios: Esta abordagem proporciona um efeito de redução de ruído através da média, criando protótipos semânticos estáveis. Permite o posicionamento contínuo de âncoras dentro do espaço latente, evitando as limitações da seleção discreta de pontos de dados.
Objetivos de Treinamento: A matriz $P$ $P$ é otimizada usando uma soma ponderada de perdas:
- Objetivos de espaço único: Cobertura ( $L_{cov}$ , k-means suave), Ortogonalidade ( $L_{orth}$ , penalizando âncoras correlacionadas) e Controle de Comprimento ( $L_{len}$ , restringindo normas).
- Objetivo de múltiplos espaços: InfoNCE simétrico ( $L_{symNCE}$ ) para alinhar coordenadas relativas entre diferentes codificadores usando amostras pareadas.

2.2 WIP: Produto Escalar Branqueado

Para abordar as distorções geométricas (deslocamentos de média e escalonamento anisotrópico) entre espaços treinados independentemente, os autores substituem a similaridade de cosseno pelo Produto Escalar Branqueado (Whitened Inner Product - WIP).

Mecanismo: Para cada espaço de embedding, a média empírica $\mu_i$ é removida, e uma transformação de branqueamento simétrica $L_i = (\Sigma_i)^{-1/2}$ é aplicada com base na matriz de covariância $\Sigma_i$ .
Fórmula: A similaridade é definida como $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ .
Benefícios: Esta métrica é robusta a distorções afins (satisfazendo o Alinhamento entre Espaços) enquanto preserva tanto informações angulares quanto de magnitude (satisfazendo a Preservação de Informação), o que é crítico para o sinal discriminativo.

3. Principais Contribuições

Âncoras Aprendidas (PARAM): Um método para aprender âncoras como misturas convexas de dados, garantindo cobertura semântica robusta e estabilidade entre espaços de embedding, substituindo a amostragem aleatória.
Similaridade Consciente de Geometria (WIP): Uma métrica de similaridade consciente da covariância que é invariante a deslocamentos afins e preserva informações de magnitude, abordando a anisotropia de arquiteturas modernas.
Framework Unificado: Uma abordagem conjunta que melhora significativamente o desempenho de costura zero-shot entre arquiteturas altamente heterogêneas (ex: CNNs vs. Transformers, e variações de escala de Modelos de Linguagem).

4. Resultados Experimentais

O framework foi avaliado em tarefas de costura zero-shot através de modalidades de visão e linguagem, comparando-o com um baseline de âncoras aleatórias com similaridade de cosseno.

Classificação de Imagens (CIFAR-100): Ao costurar codificadores baseados em CNN (RexNet) e em Transformer (ViT), o método proposto PARAM-WIP alcançou uma transferência quase sem perdas. Por exemplo, treinar um classificador em características de ViT e testar em características de RexNet resultou em um F1 score de 80,94% (PARAM Multi) comparado a 56,67% para o baseline Random-Cosine. Em muitos casos, o desempenho zero-shot igualou o desempenho absoluto do espaço latente original.
Classificação de Texto (MARC): Em análise de sentimento cross-lingual (ex: Inglês, Alemão, Francês, Espanhol, Chinês), o framework superou consistentemente o baseline. Por exemplo, costurar Francês para codificadores de Inglês resultou em 93,75% de F1 (PARAM Multi) versus 92,06% (Random-Cosine).
Pequenos Modelos de Linguagem (SLMs): Em uma tarefa de recuperação zero-shot entre modelos de diferentes escalas (GPT-2, TinyLlama, Gemma), o baseline mostrou extrema instabilidade (R@1 $\approx$ 0,5% - 10%). Em contraste, o PARAM-WIP alcançou scores de R@1 entre 87% e 95% e scores de R@5 próximos a 100%, demonstrando alinhamento geométrico estável mesmo entre modelos com dimensionalidades ocultas vastamente diferentes.
Estudos de Ablação: Os resultados confirmaram que ambos os componentes são necessários. Embora o WIP melhore a qualidade da recuperação, seus ganhos de precisão são maximizados quando combinados com âncoras aprendidas. Inversamente, âncoras aleatórias com WIP frequentemente apresentaram desempenho inferior às âncoras aleatórias com cosseno devido à sensibilidade ao ruído próximo à origem.

5. Significância e Alegações

O artigo afirma que a dependência de amostragem aleatória e projeção angular (similaridade de cosseno) é uma limitação fundamental na pesquisa atual de representação relativa, particularmente para famílias de modelos heterogêneas.

Robustez: O framework proposto permite uma transferência de informação quase sem perdas e uma comunicação zero-shot estável entre codificadores que anteriormente eram incompatíveis.
Modularidade: Ao formalizar a relação entre a geometria latente e sistemas de coordenadas relativas, este trabalho fornece um caminho prático para arquiteturas de IA modulares onde codificadores e decodificadores podem ser intercalados sem retreinamento custoso.
Compreensão Geométrica: Os resultados sugerem que preservar informações de magnitude e considerar distorções afins são críticos para alinhar espaços de embedding modernos e anisotrópicos, um requisito que a similaridade de cosseno padrão falha em atender.

Os autores observam limitações, incluindo a dependência da capacidade representacional em relação ao tamanho do subconjunto de suporte e a necessidade de uma estimativa de covariância estável para o branqueamento. Eles sugerem que trabalhos futuros poderiam explorar seleção de subconjuntos adaptativa, esparsidade estruturada e funções de similaridade não lineares.