💬 NLP

When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity

Este artículo demuestra que Mapper, una herramienta de análisis topológico de datos, revela cómo los modelos de lenguaje ajustados reestructuran los espacios de incrustación en regiones modulares de alta pureza que mantienen la confianza estructural incluso cuando los anotadores humanos discrepan, ofreciendo un marco diagnóstico superior para comprender la ambigüedad del modelo en comparación con los métodos de visualización tradicionales como PCA o UMAP.

Autores originales: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Publicado 2026-04-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una habitación gigante e invisible llena de miles de personas. Cada persona representa una frase de internet. En esta habitación, las personas que dicen cosas similares se mantienen cerca, mientras que aquellas que dicen cosas muy diferentes se mantienen lejos. Así es como los modelos informáticos "piensan" sobre el lenguaje: convierten las palabras en puntos en un espacio masivo y multidimensional.

Durante años, los científicos han intentado entender esta habitación tomando una fotografía en 2D de ella (utilizando herramientas como UMAP o PCA). Pero el artículo argumenta que estas fotos son como intentar entender una escultura en 3D mirando su sombra. Pierdes la profundidad, las curvas y las conexiones ocultas.

Esto es lo que este artículo descubrió utilizando una nueva herramienta llamada Mapper, que actúa como un mapa topológico en 3D en lugar de una foto plana.

El Problema: Cuando los Humanos No Pueden Ponerse de Acuerdo

Los investigadores examinaron un conjunto de datos de tuits sobre temas sensibles (como la política o la raza). Pidieron a cinco humanos diferentes que etiquetaran cada tuit como "ofensivo" o "no ofensivo".

Los Tuits "Fáciles" (A++): Todos estuvieron de acuerdo. (Por ejemplo, "Te odio" es claramente ofensivo).
Los Tuits "Difíciles" (A0): Los humanos no pudieron ponerse de acuerdo. Algunos dijeron que era ofensivo, otros dijeron que no lo era. Esto se llama ambigüedad.

Por lo general, cuando los humanos no están de acuerdo, asumimos que el modelo informático también se confundirá. Pero los investigadores querían ver qué estaba haciendo realmente el modelo dentro de su cerebro cuando se enfrentaba a estos tuits confusos.

La Herramienta: Mapper (El Mapa de "Unir los Puntos")

En lugar de aplastar la habitación 3D en una foto 2D, los autores utilizaron Mapper.

La Analogía: Imagina que estás intentando mapear un complejo sistema de cuevas.
- Herramientas Antiguas (UMAP/PCA): Tomas una foto desde la entrada. Ves una gran mancha de roca. No puedes decir si hay túneles separados o simplemente una cueva grande.
- Mapper: Iluminas desde diferentes ángulos, cortas la cueva en capas superpuestas y luego conectas los puntos donde las capas se superponen. Terminas con un grafo (una red de nodos y líneas) que te muestra exactamente cómo se conectan los túneles, dónde se ramifican y dónde terminan en callejones sin salida.

El Gran Descubrimiento: El Modelo "Forza" el Orden

Los investigadores descubrieron algo sorprendente sobre cómo el modelo maneja los tuits "difíciles" donde los humanos no estaban de acuerdo.

Antes del Entrenamiento (La Habitación Desordenada): Cuando se le dio los datos al modelo por primera vez, las personas "ofensivas" y "no ofensivas" estaban dispersas por todas partes. El mapa parecía una nube desordenada.
Después del Entrenamiento (La Habitación Organizada): Una vez que el modelo aprendió la tarea, no solo creó dos pilas ordenadas (una para ofensivo, otra para no ofensivo). En cambio, construyó barrios modulares.
- Incluso para los tuits confusos donde los humanos no estaban de acuerdo, el modelo los agrupó en regiones específicas y distintas.
- La Sorpresa: Dentro de estas regiones, el modelo estaba extremadamente seguro. Miraría un grupo de tuits confusos y diría: "¡Todo este barrio es 'Ofensivo'!" con un 98% de certeza.

La Metáfora:
Imagina un grupo de turistas discutiendo si un cuadro es "arte" o "basura".

Los Humanos: Están divididos 50/50.
El Modelo: Entra, mira a todo el grupo y declara con confianza: "¡Todo este grupo es Arte!". No duda. Ha creado una "zona" para este grupo y le ha asignado una sola etiqueta, ignorando el hecho de que los humanos dentro de la zona siguen discutiendo.

Qué Significa Esto

El artículo afirma que el modelo no solo "adivina" cuando está confundido. En cambio, reorganiza el espacio para crear su propio tipo de sentido.

Crea regiones suaves y consistentes donde se siente seguro tomando una decisión.
Ignora el "ruido" del desacuerdo humano e impone su propia estructura.
Esto explica por qué los modelos pueden ser demasiado seguros de sí mismos: no están mirando la confusión individual de los humanos; están mirando el "barrio" en el que se han clasificado los datos, y ese barrio tiene una etiqueta clara.

Por Qué Mapper es Mejor

Los autores muestran que si utilizas las antiguas herramientas de "foto" (UMAP), podrías pensar que los tuits ofensivos están todos en un solo círculo grande y ordenado. Pero Mapper revela que en realidad están en muchas islas diferentes y desconectadas que solo están conectadas por puentes delgados.

Visión Antigua: "Todo está separado de manera ordenada".
Visión de Mapper: "Es una compleja red de islas. El modelo es seguro en cada isla, pero las islas están dispersas de una manera que una foto simple oculta".

Resumen

El artículo argumenta que cuando los humanos no están de acuerdo en una etiqueta, el modelo informático no se confunde y vacila. En cambio, construye un nuevo mapa donde agrupa esos ejemplos confusos en zonas específicas y les asigna con confianza una sola etiqueta. Esta visión "topológica" (mirando la forma y las conexiones) revela que el modelo es en realidad muy estructurado, incluso cuando los datos son desordenados. No es que el modelo esté fallando en entender la ambigüedad; es que ha encontrado una manera de resolverla creando su propia realidad consistente, aunque a veces demasiado segura de sí misma.

1. Planteamiento del Problema

Los modelos de Procesamiento del Lenguaje Natural (PLN) suelen evaluarse mediante métricas escalares (por ejemplo, precisión, puntuación F1) que no logran capturar cómo los modelos representan internamente la ambigüedad, particularmente en escenarios donde los anotadores humanos discrepan.

La Brecha: Si bien trabajos anteriores han modelado la ambigüedad mediante etiquetas suaves o estimaciones de confianza a nivel de salida, existe un conocimiento limitado sobre cómo las instancias ambiguas se codifican estructuralmente dentro del espacio de incrustaciones de alta dimensión de los modelos ajustados.
Limitaciones de las Herramientas Actuales: Las herramientas estándar de visualización geométrica, como PCA y UMAP, a menudo simplifican en exceso las estructuras de alta dimensión. Se basan en suposiciones de distancia euclidiana, lo que puede aplanar relaciones complejas, no convexas y jerárquicas (comunes en espacios de incrustación hiperbólicos), conduciendo a interpretaciones erróneas de los límites de decisión y las estructuras vecinas.

2. Metodología

Los autores proponen utilizar Mapper, una herramienta del Análisis Topológico de Datos (ATD), para analizar la geometría de las incrustaciones de texto. A diferencia de las técnicas de reducción de dimensionalidad que proyectan los datos en una dimensión inferior, Mapper construye un resumen basado en grafos que preserva la conectividad y la estructura local.

Conjunto de Datos y Modelos

Conjunto de Datos: MD-Offense, un conjunto de datos de 10.753 tuits en inglés anotados por cinco anotadores humanos.
- Proxy de Ambigüedad: Las instancias se categorizan por niveles de acuerdo: A++ (acuerdo 5/5, no ambiguo), A+ (4/5) y A0 (3/5, alta ambigüedad/desacuerdo).
Modelo: RoBERTa-Large (seleccionado por su alto rendimiento en todos los niveles de ambigüedad). Se analizaron tanto las versiones preentrenadas como las ajustadas.
Incrustaciones: Extraídas del token [CLS] final de la última capa oculta.

Implementación del Algoritmo Mapper

Los autores implementaron Mapper utilizando la biblioteca KeplerMapper con la siguiente configuración:

Filtrado (Función de Lente): Las incrustaciones de alta dimensión ( $d=1024$ $d = 1024$ ) se proyectaron en intervalos 1D ( $k=1$ $k = 1$ ) utilizando seis funciones de lente distintas para capturar diferentes propiedades geométricas:
- Proyección del Centroides: Alineación con el límite de decisión.
- PCA: Varianza global.
- Excentricidad: Distancia de los datos de entrenamiento (detección de valores atípicos).
- Norma L2: Magnitud de activación.
- Proyecciones Aleatorias: Líneas base.
Cobertura: El espacio proyectado se cubrió con hipercubos (intervalos) superpuestos con una resolución de $r=40$ y una superposición de $\epsilon=0.3$ .
Agrupamiento: Dentro de cada intervalo, los puntos de datos se agruparon utilizando HDBSCAN (Agrupamiento Espacial Jerárquico Basado en Densidad) para evitar imponer un número fijo de grupos y manejar densidades variables.
Construcción del Grafo: Los nodos representan grupos; las aristas conectan nodos si comparten puntos de datos (debido a la cobertura superpuesta).

Métricas Topológicas

Para cuantificar los resultados, los autores definieron tres métricas:

Pureza de Componente (CP): La pureza promedio de los nodos dentro de un componente conectado (midiendo la homogeneidad de clase).
Acuerdo de Arista (EA): La proporción de aristas que conectan nodos con la misma etiqueta de clase mayoritaria (midiendo la consistencia global).
Coincidencia Mayoritaria (MM): La alineación entre la etiqueta mayoritaria predicha por el modelo y la etiqueta mayoritaria de la verdad fundamental a nivel de componente.

3. Contribuciones Clave

Perspectiva Topológica sobre la Ambigüedad: El artículo introduce Mapper como una herramienta de diagnóstico para visualizar cómo los modelos ajustados reestructuran los espacios de incrustación, revelando que los modelos no simplemente colapsan las clases en grupos lineales, sino que las organizan en regiones modulares y no convexas.
Descubrimiento de la "Confianza Estructural": El estudio revela una tensión oculta: incluso en datos altamente ambiguos (A0) donde los anotadores humanos discrepan, el modelo organiza estas instancias en regiones topológicas altamente coherentes y puras en predicción. El modelo exhibe "sobreconfianza" al asignar una única etiqueta a componentes topológicos completos, independientemente del ruido de etiqueta subyacente.
Superioridad sobre Herramientas Geométricas: Los autores demuestran que Mapper descubre detalles estructurales (regiones fragmentadas, colapsos de límites y clases entrelazadas) que UMAP y PCA aplanan u oscurecen.

4. Resultados Clave

El Ajuste Reestructura la Topología: El ajuste fino transforma el espacio de incrustación de un estado fragmentado (en el modelo base) a una topología estructurada y modular.
- Aumento de Pureza: Tras el ajuste, >98% de los componentes conectados exhiben una pureza de predicción $\ge90\%$ , incluso en el subconjunto ambiguo A0.
- Consistencia de Arista: El Acuerdo de Arista (EA) aumenta significativamente después del ajuste, indicando transiciones más suaves entre grupos vecinos.
El Fenómeno de la "Sobreconfianza":
- En el subconjunto A0 (alto desacuerdo humano), las etiquetas de verdad fundamental dentro de los componentes son ruidosas (CP ~31.5%).
- Sin embargo, las predicciones del modelo dentro de esos mismos componentes son casi perfectamente puras (CP ~98.0%).
- Esto indica que el modelo resuelve la ambigüedad imponiendo una estructura topológica gruesa, agrupando instancias ambiguas en regiones que se alinean con su objetivo de entrenamiento binario, ignorando efectivamente el matiz del desacuerdo humano.
Robustez: Estos hallazgos se mantienen a través de diferentes funciones de lente (1D y 2D) y diferentes arquitecturas de modelos (BERT, DeBERTa, DistilBERT, etc.), lo que sugiere que este es un comportamiento fundamental de los transformadores ajustados.

5. Significado e Implicaciones

Herramienta de Diagnóstico: Mapper proporciona un método poderoso para entender cómo los modelos resuelven la ambigüedad, yendo más allá de las métricas escalares para revelar la geometría interna de las regiones de decisión.
Desafío a Suposiciones: Los resultados desafían la suposición de que los modelos fallan en datos ambiguos adivinando al azar. En cambio, los modelos exhiben comportamiento sistemático a nivel de región, generalizando al esculpir subestructuras complejas que pueden no alinearse con el consenso humano.
Direcciones Futuras: Los autores sugieren que estas ideas topológicas pueden informar estrategias de modelado proactivas, tales como:
- Seleccionar subconjuntos para entrenamiento basados en la pureza topológica.
- Diseñar regímenes de ajuste que tengan en cuenta la incertidumbre topológica.
- Desarrollar evaluaciones de robustez específicamente para regiones ambiguas.
Reproducibilidad: Todo el código y las configuraciones son de código abierto, facilitando futuras investigaciones sobre el análisis topológico en PLN.

En conclusión, el artículo argumenta que la topología explica la geometría de la ambigüedad: los modelos ajustados no simplemente aprenden a clasificar; reorganizan el espacio de incrustación en regiones modulares de alta confianza que a menudo anulan la incertidumbre presente en las anotaciones humanas.