💬 NLP

A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings

Este artículo presenta una observación visual de una curiosa estructura en forma de remolino que aparece en las proyecciones geométricas de los vectores de diferencia de pares de palabras antónimas y sinónimas en diversos modelos de incrustación.

Autores originales: Rami Luisto

Publicado 2026-03-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rami Luisto

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que las palabras no son solo sonidos o letras, sino que son puntos en un mapa gigante e invisible. En el mundo de la Inteligencia Artificial (IA), cada palabra tiene su propia ubicación en este mapa. Si dos palabras significan cosas similares (sinónimos), sus puntos están muy cerca. Si son opuestas (antónimos), deberían estar lejos, ¿verdad?

El autor de este artículo, Rami Luisto, decidió tomar un "microscopio" matemático para mirar cómo se comportan estos puntos cuando las palabras son opuestas. Lo que encontró fue algo tan extraño y hermoso que lo llamó "El Remolino" (The Swirl).

Aquí tienes la explicación de su descubrimiento, usando analogías sencillas:

1. La Idea: ¿Cómo son los opuestos?

Imagina que tienes una pareja de palabras opuestas, como "caliente" y "frío".

En el mapa de la IA, estas dos palabras tienen coordenadas específicas.
El autor no miró solo dónde estaban las palabras, sino que calculó la flecha que las une (la diferencia entre ellas). Es como si midieras el vector de un viaje desde "caliente" hasta "frío".

2. El Experimento: Lanzar las flechas al aire

El autor tomó miles de pares de palabras (sinónimos como "grande/gran" y antónimos como "grande/pequeño") y calculó esas flechas de diferencia. Luego, usó una herramienta llamada UMAP para proyectar todas esas flechas en una hoja de papel de dos dimensiones (un dibujo 2D).

UMAP es como una cámara especial que intenta comprimir un mundo 3D complejo en una foto 2D, tratando de mantener las relaciones de cercanía.

3. El Hallazgo: ¡El Remolino!

Cuando Rami miró la foto resultante, vio algo que no esperaba. En lugar de ver un caos de puntos o dos grupos separados, vio una estructura en forma de espiral o remolino.

La analogía del carrusel: Imagina un carrusel de caballos. Si miras desde arriba, los caballos parecen estar en un círculo. En este mapa, los pares de palabras opuestas no están dispersos; forman una especie de carrusel gigante.
La separación: Lo más curioso es que los pares de palabras reales (los que la gente usa de verdad) se agruparon en una parte del remolino, mientras que los pares "falsos" o mezclados al azar (que el autor creó para probar) se agruparon en otra parte, como si el remolino tuviera dos carriles distintos.

4. ¿Es un truco o es real?

El autor se preguntó: "¿Será que solo estoy viendo lo que quiero ver?" (lo que en ciencia se llama "p-hacking" o buscar patrones al azar).

Para probarlo, cambió las reglas del juego:

Cambió el tipo de mapa (usó diferentes modelos de IA: Word2Vec, BERT, modelos de OpenAI).
Cambió la forma de medir la distancia.
Cambió la herramienta de proyección (usó PCA o t-SNE en lugar de UMAP).

El resultado: El remolino desaparecía si cambiaba la herramienta (como usar una cámara normal en lugar de la especial) o si usaba una métrica diferente. Pero siempre que usaba UMAP con una medida de distancia específica (Euclidiana), el remolino aparecía, sin importar si usaba un modelo de IA antiguo o uno muy moderno.

Esto sugiere que no es un error, sino que hay una estructura oculta en cómo las IAs entienden los opuestos. Es como si, al mirar las diferencias entre opuestos a través de este "lente" específico, la IA revelara una danza oculta.

5. ¿Para qué sirve esto?

Además de ser una curiosidad visual, el autor descubrió que si usas la forma de este remolino para clasificar palabras, puedes crear un sistema que distingue muy bien entre sinónimos y antónimos.

La analogía del detective: Imagina que eres un detective. En lugar de interrogar a cada sospechoso uno por uno (lo que es lento), miras el patrón de cómo se mueve toda la multitud en la plaza. Si la multitud forma un remolino, sabes que algo especial está pasando. El autor usó la forma del remolino para "adivinar" si un par de palabras eran opuestos con una precisión muy alta, casi tan buena como los mejores sistemas actuales.

En resumen

Este artículo es como un viaje de descubrimiento donde un científico miró el mapa mental de una computadora y vio que, cuando las palabras son opuestas, sus diferencias no son aleatorias. Siguen un patrón en forma de espiral que solo se revela con una lente muy específica.

Es una prueba de que, incluso en el mundo abstracto de las matemáticas y la IA, hay patrones geométricos hermosos y sorprendentes que esperan a ser descubiertos, como un remolino en un río invisible.

Resumen Técnico: Observación Visual de la Geometría de Proyecciones UMAP de Vectores de Diferencia en Pares de Palabras

Autor: Rami Luisto
Fecha: 26 de marzo de 2026

1. El Problema

El artículo aborda la cuestión de cómo los modelos de lenguaje modernos (transformers y embeddings estáticos) representan geométricamente las relaciones semánticas de antónimos (palabras opuestas) y sinónimos (palabras similares).

Contexto Teórico: Siguiendo la definición lingüística de Murphy, los antónimos se definen como pares que comparten todas las propiedades relevantes del contexto excepto una. En el espacio de embeddings de alta dimensión, esto sugiere que los pares antónimos deberían diferir en una única "dimensión semántica".
La Incógnita: La literatura previa indica que la distinción entre antónimos y sinónimos en estos espacios no es lineal (no existe un simple hiperplano o dirección euclidiana única que los separe). Sin embargo, surge la pregunta: ¿existe alguna estructura geométrica subyacente, quizás no lineal o topológica, que capture esta relación de "oposición" en los vectores de diferencia ( $D = E_2 - E_1$ ) de estos pares?

2. Metodología

El estudio es de naturaleza exploratoria y visual, centrado en la proyección de datos de alta dimensión a 2D.

Datos: Se utilizó el "Stuttgart Dataset", que contiene pares de palabras etiquetadas como antónimos y sinónimos (adjetivos, sustantivos y verbos).
Modelos de Embedding: Se probaron cinco modelos distintos para evaluar la generalidad del fenómeno:
- Estáticos: Word2Vec y GloVe.
- Context-free de Transformers: BERT Base.
- Modelos propietarios de OpenAI: text-embedding-3-small y text-embedding-3-large.
Construcción de Vectores: Para cada par de palabras $(w_1, w_2)$ , se calcularon sus vectores de embedding $(E_1, E_2)$ y su vector de diferencia ( $D_{12} = E_2 - E_1$ ).
Conjuntos de Control (Crucial): Además de los pares reales, se crearon dos conjuntos sintéticos: "antónimos mezclados" y "sinónimos mezclados" (shuffled), donde las palabras se reasignaron aleatoriamente. Esto sirvió para verificar si la estructura observada dependía de la relación semántica real o era un artefacto del conjunto de datos.
Proyección y Visualización:
- Se aplicó el algoritmo UMAP (Uniform Manifold Approximation and Projection) para proyectar los vectores de diferencia a 2D.
- Hiperparámetros clave: Se encontró que el fenómeno solo es visible utilizando la métrica euclidiana (no la similitud del coseno) y con configuraciones específicas de vecinos ( $n\_neighbors$ ) y distancia mínima ( $min\_dist$ ).
- Se comparó con otras técnicas como PCA y t-SNE para validar la robustez.

3. Contribuciones Clave

Descubrimiento del "Remolino" (The Swirl): El hallazgo principal es la observación visual consistente de una estructura en forma de remolino o bucle en las proyecciones UMAP de los vectores de diferencia. Esta estructura aparece de forma estable en múltiples modelos de embeddings y configuraciones de hiperparámetros.
Separación Topológica: En estas proyecciones, los puntos de los pares reales (antónimos y sinónimos) forman estructuras unidimensionales claras que se separan distintamente de sus contrapartes "mezcladas" (shuffled). Específicamente, los antónimos y los sinónimos ocupan regiones diferentes dentro del remolino, separándose de sus versiones aleatorizadas.
Dependencia del Método de Proyección: Se demuestra que este patrón es específico de UMAP con métrica euclidiana. Al cambiar a t-SNE, PCA o usar métricas de coseno, la estructura de "remolino" desaparece o se vuelve difusa, lo que sugiere que UMAP está capturando una topología específica de los datos que otros métodos no revelan.
Clasificador Transductivo: Se propone un método de clasificación basado en la estructura geométrica de la proyección UMAP, logrando resultados competitivos sin necesidad de un modelo de aprendizaje profundo entrenado tradicionalmente.

4. Resultados

Visualización: Las figuras del artículo muestran que, independientemente del modelo (desde Word2Vec hasta los modelos más grandes de OpenAI), los vectores de diferencia de los pares reales tienden a formar un bucle o espiral, mientras que los pares mezclados se dispersan o ocupan zonas distintas.
Rendimiento de Clasificación:
- Se implementó un clasificador transductivo: se proyectan todos los datos (entrenamiento y prueba), se eliminan los datos de control mezclados, se agrupa (clustering) la nube de puntos restante y se asignan etiquetas basadas en la votación de los datos de entrenamiento dentro de cada clúster.
- Precisión: Este método superó consistentemente a los enfoques que no usaban la proyección UMAP.
- Métricas: En la división de datos "léxica" (donde ninguna palabra se repite entre train y test), el modelo text-embedding-3-large combinado con UMAP y clustering espectral alcanzó un F1-score de 0.9660, superando a muchos métodos State-of-the-Art (SOTA) reportados en la literatura para la tarea de diferenciación de antónimos y sinónimos (ASD).
- Los modelos más grandes (text-embedding-3-large) mostraron la estructura más "nítida" y mejor rendimiento, incluso sin la proyección UMAP, aunque la proyección mejoró los resultados en todos los casos.

5. Significado e Implicaciones

Geometría de la Antonimia: El artículo sugiere que, aunque no existe una dirección euclidiana simple para la antonimia, existe una estructura topológica compleja y consistente en los espacios de embeddings. La relación de "oposición" parece manifestarse como una curvatura o bucle en la variedad de datos, detectable mediante reducción de dimensionalidad no lineal específica.
Validación de UMAP: El estudio destaca la capacidad de UMAP (con métrica euclidiana) para revelar estructuras latentes en datos de NLP que otros métodos de proyección (como PCA o t-SNE) pasan por alto.
Naturaleza del Hallazgo: El autor advierte sobre el riesgo de "p-hacking" (buscar patrones aleatorios), pero argumenta que la estabilidad del fenómeno a través de modelos tan dispares (estáticos vs. transformers, pequeños vs. grandes) indica una propiedad real del espacio semántico y no un artefacto estadístico.
Futuro: El trabajo abre la puerta a investigar por qué emerge esta estructura de "remolino" y si está relacionada con las estructuras universales propuestas en los Grandes Modelos de Lenguaje (LLMs).

En resumen, el paper reporta una observación visual fascinante: la "oposición" semántica en los embeddings de palabras no es un punto aislado, sino que forma una estructura de remolino coherente cuando se proyecta adecuadamente, lo que permite clasificar antónimos y sinónimos con alta precisión utilizando métodos geométricos simples.