🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

Este artículo propone un marco robusto para la comunicación entre modelos que mejora las Representaciones Relativas tradicionales mediante el aprendizaje de prototipos de anclaje semántico y el empleo de una métrica de similitud consciente de la geometría, permitiendo así una transferencia de información estable y casi sin pérdidas entre arquitecturas neuronales heterogéneas.

Autores originales: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos traductores diferentes que hablan el mismo idioma pero usan diccionarios y estructuras de oraciones completamente distintos. Un traductor (Modelo A) describe a un "rey" como una figura alta y dorada, mientras que el otro (Modelo B) describe a un "rey" como una figura baja y azul. Si intentas darle al Modelo B una nota escrita por el Modelo A, no la entenderá porque las coordenadas no coinciden.

Este es el problema que las Representaciones Relativas intenta resolver. En lugar de intentar forzar al Modelo A y al Modelo B a ponerse de acuerdo en las coordenadas exactas de un "rey", acuerdan un conjunto de puntos de referencia (anclas). Dicen: "Está bien, independientemente de cómo dibujes el mapa, ¿qué tan cerca está el 'rey' de la 'reina' y del 'castillo'?". Si ambos modelos están de acuerdo en las distancias hacia estos puntos de referencia, pueden hablar entre sí, incluso si sus mapas internos son totalmente diferentes.

Sin embargo, la forma antigua de hacer esto tenía dos grandes fallas, las cuales este artículo corrige con un nuevo sistema llamado PARAM y WIP.

El problema con la forma antigua

Puntos de referencia aleatorios: El método antiguo elegía los puntos de referencia lanzando dardos a un mapa. A veces elegías un montón de dardos que caían en el mismo lugar (redundancia), o dejabas fuera áreas enormes del mapa por completo. Esto significaba que la "traducción" a menudo era borrosa o perdía detalles importantes.
La regla equivocada: El método antiguo usaba una regla que solo medía ángulos (dirección) pero ignoraba la distancia (magnitud). Imagina intentar medir una habitación donde el suelo está estirado de manera desigual. Si solo miras el ángulo de una esquina, podrías pensar que una habitación pequeña y estirada es igual a una grande y normal. Esto causaba que la "traducción" se rompiera cuando los modelos eran muy diferentes entre sí (como un modelo de lenguaje pequeño hablando con uno gigante).

La nueva solución: PARAM y WIP

1. PARAM: Aprendiendo los mejores puntos de referencia

En lugar de lanzar dardos al azar, los autores enseñan a la computadora a aprender los puntos de referencia perfectos.

La analogía: Imagina que estás tratando de describir una ciudad a un amigo. En lugar de elegir esquinas de calles al azar, le preguntas a la ciudad misma: "¿Cuáles son los centros más importantes y estables que representan toda el área?".
Cómo funciona: El sistema crea puntos de referencia promediando grupos de puntos de datos. Esto suaviza el ruido (como promediar algunas fotos temblorosas para obtener una imagen clara). Estos nuevos puntos de referencia son "prototipos semánticos robustos": son estables, cubren todo el mapa uniformemente y no se confunden con las peculiaridades de un modelo específico.

2. WIP: La regla inteligente

Los autores reemplazaron la vieja regla de "solo ángulos" con un Producto Interno Blanqueado (WIP, por sus siglas en inglés).

La analogía: Piensa en la vieja regla como una banda elástica que se estira y se encoge dependiendo de quién la sostenga. Si el Modelo A estira el espacio y el Modelo B lo aplasta, la banda elástica dará la respuesta incorrecta.
Cómo funciona: La nueva regla WIP está "blanqueada". Antes de medir, aplana matemáticamente la banda elástica. Corrige el estiramiento, el aplastamiento y el desplazamiento. Crucialmente, también presta atención a qué tan fuerte es una señal (magnitud), no solo hacia dónde apunta. Esto permite que los modelos conserven detalles importantes (como "qué tan seguro" está el modelo) que el método antiguo desechaba.

Los resultados: Traducción "sin pérdidas"

Los autores probaron esto intentando conectar diferentes tipos de modelos de IA:

Visión: Conectaron una CNN (un tipo de modelo de imagen) con un Transformer (un modelo de imagen diferente y más moderno).
Lenguaje: Conectaron diferentes modelos de lenguaje (como variantes de BERT que hablan diferentes idiomas: inglés, alemán, francés, etc.).
Pequeño vs. Grande: Incluso conectaron modelos de lenguaje diminutos con otros mucho más grandes.

El resultado:
En el pasado, intentar unir estos modelos resultaba en un desastre (el nuevo modelo adivinaba al azar). Con PARAM y WIP, los modelos se comunicaron casi perfectamente.

Lograron el zero-shot stitching (unión de cero disparos): Podías entrenar una herramienta con los datos del Modelo A e inmediatamente usarla con los datos del Modelo B sin necesidad de reentrenamiento.
El rendimiento fue casi idéntico al de usar el modelo original directamente. Fue como si la "traducción" fuera sin pérdidas (lossless): no se perdió información en el proceso.

Resumen

Este artículo introduce una nueva forma de hacer que diferentes modelos de IA hablen entre sí.

Deja de adivinar puntos de referencia: Aprende los puntos de referencia más estables y mejores (PARAM).
Usa una mejor regla: Utiliza una herramienta de medición que tenga en cuenta el estiramiento y el encogimiento de los datos (WIP).

El resultado es un sistema universal de "conectar y usar" donde puedes intercambiar el "cerebro" (codificador) de una IA por uno diferente, y el resto del sistema sigue funcionando perfectamente sin necesidad de ser reentrenado.

Resumen Técnico: Mejora de las Representaciones Relativas mediante Anclajes Aprendidos y Productos Internos Blanqueados

1. Planteamiento del Problema

Los modelos neuronales entrenados de forma independiente suelen converger en representaciones latentes que son incompatibles debido a diferencias en rotación, escalado anisotrópico y traslación. Esto crea una barrera fundamental para la construcción de sistemas de IA altamente modulares donde los codificadores y decodificadores puedan intercambiarse sin necesidad de reentrenamiento.

Las Representaciones Relativas (RR) abordan esto mapeando los embeddings absolutos a un espacio compartido definido por las similitudes con un conjunto común de puntos de anclaje, en lugar de depender de coordenadas absolutas. Sin embargo, las implementaciones estándar de RR sufren dos limitaciones principales:

Muestreo de Anclajes Aleatorio: Los métodos tradicionales utilizan puntos de datos muestreados aleatoriamente como anclajes. Esto a menudo conduce a una cobertura deficiente del manifold de los datos, redundancia y características relativas de bajo rango, lo que provoca una pérdida de información relevante para la tarea.
Similitud de Coseno: La métrica de similitud estándar depende únicamente de las relaciones angulares, descartando la información de magnitud (que puede codificar la confianza de la característica) y no tiene en cuenta las geometrías anisotrópicas comunes en arquitecturas modernas como los Transformers. También es inestable bajo desplazamientos afines y cerca del origen.

Estas limitaciones resultan en una deficiente alineación entre espacios y una pérdida de información, impidiendo el ensamblaje (stitching) zero-shot efectivo entre modelos heterogéneos.

2. Metodología

Los autores proponen un marco robusto compuesto por dos componentes centrales: PARAM (Representaciones de Anclaje Parametrizadas mediante Matrices Adaptativas) y WIP (Producto Interno Blanqueado).

2.1 PARAM: Aprendizaje de Anclajes como Mezclas Convexas

En lugar de tratar los anclajes como un subconjunto fijo y muestreado aleatoriamente de los datos, PARAM aprende los anclajes como mezclas convexas de un conjunto de soporte de puntos de datos paralelos.

Mecanismo: Una matriz de mezcla compartida $P$ se optimiza para generar anclajes $A_i$ para cada espacio de codificador $i$ mediante $A_i = P X_{sub}^i$ , donde $X_{sub}^i$ es un subconjunto de embeddings.
Restricciones: $P$ está restringida a ser estocástica por filas, asegurando que los anclajes permanezcan dentro del envolvente convexo (convex hull) de los datos.
Beneficios: Este enfoque proporciona un efecto de eliminación de ruido mediante el promedio, creando prototipos semánticos estables. Permite la colocación continua de anclajes dentro del espacio latente, evitando las limitaciones de la selección de puntos de datos discretos.
Objetivos de Entrenamiento: La matriz $P$ $P$ se optimiza utilizando una suma ponderada de pérdidas:
- Objetivos de espacio único: Cobertura ( $L_{cov}$ , k-means suave), Ortogonalidad ( $L_{orth}$ , penalizando anclajes correlacionados) y Control de longitud ( $L_{len}$ , restringiendo normas).
- Objetivo multi-espacio: Simetria InfoNCE ( $L_{symNCE}$ ) para alinear las coordenadas relativas a través de diferentes codificadores utilizando muestras emparejadas.

2.2 WIP: Producto Interno Blanqueado

Para abordar las distorsiones geométricas (desplazamientos de media y escalado anisotrópico) entre espacios entrenados independientemente, los autores reemplazan la similitud de coseno con el Producto Interno Blanqueado.

Mecanismo: Para cada espacio de embedding, se elimina la media empírica $\mu_i$ y se aplica una transformación de blanqueo simétrica $L_i = (\Sigma_i)^{-1/2}$ basada en la matriz de covarianza $\Sigma_i$ .
Fórmula: La similitud se define como $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ .
Beneficios: Esta métrica es robusta a las distorsiones afines (satisfaciendo la Alineación entre Espacios) mientras preserva tanto la información angular como la de magnitud (satisfaciendo la Preservación de Información), lo cual es crítico para la señal discriminativa.

3. Contribuciones Clave

Anclajes Aprendidos (PARAM): Un método para aprender anclajes como mezclas convexas de datos, asegurando una cobertura semántica robusta y estabilidad a través de los espacios de embedding, reemplazando el muestreo aleatorio.
Similitud Consciente de la Geometría (WIP): Una métrica de similitud consciente de la covarianza que es invariante a los desplazamientos afines y preserva la información de magnitud, abordando la anisotropía de las arquitecturas modernas.
Marco Unificado: Un enfoque conjunto que mejora significativamente el rendimiento del ensamblaje (stitching) zero-shot a través de arquitecturas altamente heterogéneas (por ejemplo, CNNs vs. Transformers, y diversas escalas de Modelos de Lenguaje).

4. Resultados Experimentales

El marco fue evaluado en tareas de ensamblaje zero-shot a través de modalidades de visión y lenguaje, comparándolo contra un modelo base de anclajes aleatorios con similitud de coseno.

Clasificación de Imágenes (CIFAR-100): Al ensamblar codificadores basados en CNN (RexNet) y basados en Transformer (ViT), el método propuesto PARAM-WIP logró una transferencia casi sin pérdidas. Por ejemplo, entrenar un clasificador en características de ViT y probarlo en características de RexNet produjo una puntuación F1 de 80.94% (PARAM Multi) frente al 56.67% del modelo base de Random-Cosine. En muchos casos, el rendimiento zero-shot igualó el rendimiento absoluto del espacio latente original.
Clasificación de Texto (MARC): En análisis de sentimiento multilingüe (por ejemplo, inglés, alemán, francés, español, chino), el marco superó consistentemente al modelo base. Por ejemplo, ensamblar de francés a inglés resultó en un F1 de 93.75% (PARAM Multi) frente al 92.06% (Random-Cosine).
Modelos de Lenguaje Pequeños (SLMs): En una tarea de recuperación zero-shot entre modelos de diferentes escalas (GPT-2, TinyLlama, Gemma), el modelo base mostró una inestabilidad extrema (R@1 $\approx$ 0.5% - 10%). En contraste, PARAM-WIP logró puntuaciones R@1 entre 87% y 95% y puntuaciones R@5 cercanas al 100%, demostando un alineamiento geométrico estable incluso entre modelos con dimensionalidades ocultas muy distintas.
Estudios de Ablación: Los resultados confirmaron que ambos componentes son necesarios. Si bien WIP mejora la calidad de la recuperación, sus ganancias de precisión se maximizan cuando se combina con anclajes aprendidos. Por el contrario, los anclajes aleatorios con WIP a menudo tuvieron un rendimiento inferior a los anclajes aleatorios con similitud de coseno debido a la sensibilidad al ruido cerca del origen.

5. Significación y Reivindicaciones

El artículo sostiene que la dependencia del muestreo aleatorio y la proyección angular (similitud de coseno) es una limitación fundamental en la investigación actual de representaciones relativas, particularmente para familias de modelos heterogéneas.

Robustez: El marco propuesto permite una transferencia de información casi sin pérdidas y una comunicación zero-shot estable entre codificadores que anteriormente eran incompatibles.
Modularidad: Al formalizar la relación entre la geometría latente y los sistemas de coordenadas relativas, este trabajo proporciona una vía práctica hacia arquitecturas de IA modulares donde los codificadores y decodificadores pueden intercambiarse sin un reentrenamiento costoso.
Comprensión Geométrica: Los resultados sugieren que preservar la información de magnitud y tener en cuenta las distorsiones afines son críticos para alinear los espacios de embedding modernos y anisotrópicos, un requisito que la similitud de coseno estándar no logra satisfacer.

Los autores señalan limitaciones, incluyendo la dependencia de la capacidad de representación respecto al tamaño del subconjunto de soporte y el requisito de una estimación de covarianza estable para el blanqueo. Sugieren que trabajos futuros podrían explorar la selección de subconjuntos adaptativa, la dispersión estructurada y funciones de similitud no lineales.