💬 NLP

When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity

Este artigo demonstra que o Mapper, uma ferramenta de análise topológica de dados, revela como os modelos de linguagem ajustados finamente reestruturam os espaços de incorporação em regiões modulares e de alta pureza que mantêm confiança estrutural mesmo quando os anotadores humanos discordam, oferecendo um quadro diagnóstico superior para compreender a ambiguidade do modelo em comparação com métodos de visualização tradicionais como PCA ou UMAP.

Autores originais: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Publicado 2026-04-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um quarto gigante e invisível, cheio de milhares de pessoas. Cada pessoa representa uma frase da internet. Neste quarto, as pessoas que dizem coisas semelhantes ficam próximas umas das outras, enquanto aquelas que dizem coisas muito diferentes ficam distantes. É assim que os modelos computacionais "pensam" sobre a linguagem: eles transformam palavras em pontos em um espaço massivo e multidimensional.

Durante anos, cientistas tentaram entender este quarto tirando uma fotografia bidimensional dele (usando ferramentas como UMAP ou PCA). Mas o artigo argumenta que essas fotos são como tentar entender uma escultura tridimensional olhando para sua sombra. Você perde a profundidade, as curvas e as conexões ocultas.

Aqui está o que este artigo descobriu usando uma nova ferramenta chamada Mapper, que atua como um mapa topológico tridimensional em vez de uma foto plana.

O Problema: Quando os Humanos Não Concordam

Os pesquisadores analisaram um conjunto de dados de tweets sobre temas sensíveis (como política ou raça). Eles pediram a cinco humanos diferentes que classificassem cada tweet como "ofensivo" ou "não ofensivo".

Os Tweets "Fáceis" (A++): Todos concordaram. (Por exemplo, "Eu te odeio" é claramente ofensivo).
Os Tweets "Difíceis" (A0): Os humanos não conseguiram concordar. Alguns disseram que era ofensivo, outros disseram que não. Isso é chamado de ambiguidade.

Geralmente, quando os humanos discordam, assumimos que o modelo computacional também ficará confuso. Mas os pesquisadores queriam ver o que o modelo estava realmente fazendo dentro de seu cérebro ao enfrentar esses tweets confusos.

A Ferramenta: Mapper (O Mapa "Ligue os Pontos")

Em vez de esmagar o quarto tridimensional em uma foto bidimensional, os autores usaram o Mapper.

A Analogia: Imagine que você está tentando mapear um complexo sistema de cavernas.
- Ferramentas Antigas (UMAP/PCA): Você tira uma foto da entrada. Você vê uma grande mancha de rocha. Você não consegue dizer se há túneis separados ou apenas uma caverna grande.
- Mapper: Você projeta luz de diferentes ângulos, corta a caverna em camadas sobrepostas e, em seguida, conecta os pontos onde as camadas se sobrepõem. Você acaba com um grafo (uma rede de nós e linhas) que mostra exatamente como os túneis se conectam, onde eles se ramificam e onde terminam em becos sem saída.

A Grande Descoberta: O Modelo "Força" a Ordem

Os pesquisadores descobriram algo surpreendente sobre como o modelo lida com os tweets "difíceis" onde os humanos discordaram.

Antes do Treinamento (O Quarto Bagunçado): Quando o modelo recebeu os dados pela primeira vez, as pessoas "ofensivas" e "não ofensivas" estavam espalhadas por toda parte. O mapa parecia uma nuvem bagunçada.
Depois do Treinamento (O Quarto Organizado): Uma vez que o modelo aprendeu a tarefa, ele não fez apenas duas pilhas organizadas (uma para ofensivo, outra para não ofensivo). Em vez disso, ele construiu bairros modulares.
- Mesmo para os tweets confusos onde os humanos discordaram, o modelo agrupou-os em regiões específicas e distintas.
- O Choque: Dentro dessas regiões, o modelo estava extremamente confiante. Ele olharia para um grupo de tweets confusos e diria: "Todo este bairro é 'Ofensivo'!" com 98% de certeza.

A Metáfora:
Imagine um grupo de turistas discutindo se uma pintura é "arte" ou "lixo".

Os Humanos: Eles estão divididos 50/50.
O Modelo: Ele entra, olha para todo o grupo e declara confiantemente: "Todo este grupo é Arte!" Ele não hesita. Ele criou uma "zona" para este grupo e atribuiu a ele uma única etiqueta, ignorando o fato de que os humanos dentro da zona ainda estão discutindo.

O Que Isso Significa

O artigo afirma que o modelo não apenas "adivinha" quando está confuso. Em vez disso, ele reorganiza o espaço para fazer seu próprio tipo de sentido.

Ele cria regiões suaves e consistentes onde se sente seguro para tomar uma decisão.
Ele ignora o "ruído" da discordância humana e impõe sua própria estrutura.
Isso explica por que os modelos podem ser excessivamente confiantes: eles não estão olhando para a confusão individual dos humanos; eles estão olhando para o "bairro" no qual os dados foram classificados, e esse bairro tem uma etiqueta clara.

Por Que o Mapper é Melhor

Os autores mostram que, se você usar as antigas ferramentas de "foto" (UMAP), pode pensar que os tweets ofensivos estão todos em um grande círculo organizado. Mas o Mapper revela que eles estão, na verdade, em muitas ilhas diferentes e desconectadas, que são conectadas apenas por pontes finas.

Visão Antiga: "Tudo está separado de forma agradável."
Visão do Mapper: "É uma complexa teia de ilhas. O modelo é confiante em cada ilha, mas as ilhas estão espalhadas de uma maneira que uma foto simples esconde."

Resumo

O artigo argumenta que, quando os humanos discordam sobre uma etiqueta, o modelo computacional não fica confuso e vacila. Em vez disso, ele constrói um novo mapa onde agrupa esses exemplos confusos em zonas específicas e os atribui confiantemente a uma única etiqueta. Essa visão "topológica" (olhando para a forma e as conexões) revela que o modelo é, na verdade, muito estruturado, mesmo quando os dados estão bagunçados. Não é que o modelo esteja falhando em entender a ambiguidade; é que ele encontrou uma maneira de resolvê-la criando sua própria realidade consistente, embora às vezes excessivamente confiante.

1. Declaração do Problema

Modelos de Processamento de Linguagem Natural (PLN) são tipicamente avaliados usando métricas escalares (por exemplo, precisão, pontuação F1) que falham em capturar como os modelos representam internamente a ambiguidade, particularmente em cenários onde há discordância entre anotadores humanos.

A Lacuna: Embora trabalhos anteriores tenham modelado a ambiguidade via rótulos suaves ou estimativas de confiança no nível de saída, há um entendimento limitado de como instâncias ambíguas são estruturalmente codificadas dentro do espaço de embeddings de alta dimensão de modelos ajustados (fine-tuned).
Limitações das Ferramentas Atuais: Ferramentas padrão de visualização geométrica, como PCA e UMAP, frequentemente simplificam em excesso estruturas de alta dimensão. Elas dependem de suposições de distância euclidiana, o que pode achatar relações complexas, não convexas e hierárquicas (comuns em espaços de embeddings hiperbólicos), levando a interpretações equivocadas de fronteiras de decisão e estruturas de vizinhança.

2. Metodologia

Os autores propõem o uso do Mapper, uma ferramenta da Análise Topológica de Dados (TDA), para analisar a geometria de embeddings de texto. Diferentemente de técnicas de redução de dimensionalidade que projetam dados em uma dimensão inferior, o Mapper constrói um resumo baseado em grafos que preserva a conectividade e a estrutura local.

Conjunto de Dados e Modelos

Conjunto de Dados: MD-Offense, um conjunto de dados de 10.753 tweets em inglês anotados por cinco anotadores humanos.
- Proxy de Ambiguidade: As instâncias são categorizadas por níveis de concordância: A++ (concordância 5/5, não ambígua), A+ (4/5) e A0 (3/5, alta ambiguidade/discordância).
Modelo: RoBERTa-Large (selecionado por seu forte desempenho em todos os níveis de ambiguidade). Versões pré-treinadas e ajustadas foram analisadas.
Embeddings: Extraídos do token final [CLS] da última camada oculta.

Implementação do Algoritmo Mapper

Os autores implementaram o Mapper usando a biblioteca KeplerMapper com a seguinte configuração:

Filtragem (Função Lente): Embeddings de alta dimensão ( $d=1024$ $d = 1024$ ) foram projetados em intervalos 1D ( $k=1$ $k = 1$ ) usando seis funções de lente distintas para capturar diferentes propriedades geométricas:
- Projeção do Centróide: Alinhamento com a fronteira de decisão.
- PCA: Variância global.
- Excentricidade: Distância dos dados de treinamento (detecção de outliers).
- Norma L2: Magnitude da ativação.
- Projeções Aleatórias: Linhas de base.
Cobertura: O espaço projetado foi coberto por hipercubos sobrepostos (intervalos) com uma resolução de $r=40$ e uma sobreposição de $\epsilon=0,3$ .
Agrupamento (Clustering): Dentro de cada intervalo, os pontos de dados foram agrupados usando HDBSCAN (Agrupamento Espacial Hierárquico Baseado em Densidade) para evitar impor um número fixo de clusters e lidar com densidades variáveis.
Construção do Grafo: Nós representam clusters; arestas conectam nós se eles compartilharem pontos de dados (devido à cobertura sobreposta).

Métricas Topológicas

Para quantificar os resultados, os autores definiram três métricas:

Pureza de Componente (CP): A pureza média dos nós dentro de um componente conectado (medindo a homogeneidade de classe).
Concordância de Aresta (EA): A proporção de arestas conectando nós com o mesmo rótulo de classe majoritária (medindo a consistência global).
Correspondência Majoritária (MM): O alinhamento entre o rótulo majoritário previsto pelo modelo e o rótulo majoritário da verdade fundamental no nível do componente.

3. Contribuições Principais

Perspectiva Topológica sobre Ambiguidade: O artigo introduz o Mapper como uma ferramenta de diagnóstico para visualizar como modelos ajustados reestruturam espaços de embeddings, revelando que os modelos não apenas colapsam classes em clusters lineares, mas as organizam em regiões modulares e não convexas.
Descoberta de "Confiança Estrutural": O estudo revela uma tensão oculta: mesmo em dados altamente ambíguos (A0) onde há discordância entre anotadores humanos, o modelo organiza essas instâncias em regiões topológicas altamente coerentes e puras em termos de previsão. O modelo exibe "excesso de confiança" ao atribuir um único rótulo a componentes topológicos inteiros, independentemente do ruído de rótulo subjacente.
Superioridade sobre Ferramentas Geométricas: Os autores demonstram que o Mapper revela detalhes estruturais (regiões fragmentadas, colapsos de fronteira e classes entrelaçadas) que o UMAP e o PCA achata ou obscurecem.

4. Resultados Principais

O Ajuste (Fine-Tuning) Reestrutura a Topologia: O ajuste transforma o espaço de embeddings de um estado fragmentado (no modelo base) em uma topologia estruturada e modular.
- Aumento de Pureza: Após o ajuste, >98% dos componentes conectados exibem pureza de previsão $\ge90\%$ , mesmo no subconjunto ambíguo A0.
- Consistência de Aresta: A Concordância de Aresta (EA) aumenta significativamente após o ajuste, indicando transições mais suaves entre clusters vizinhos.
O Fenômeno de "Excesso de Confiança":
- No subconjunto A0 (alta discordância humana), os rótulos da verdade fundamental dentro dos componentes são ruidosos (CP ~31,5%).
- No entanto, as previsões do modelo dentro desses mesmos componentes são quase perfeitamente puras (CP ~98,0%).
- Isso indica que o modelo resolve a ambiguidade impondo uma estrutura topológica grosseira, agrupando instâncias ambíguas em regiões que se alinham com seu objetivo de treinamento binário, efetivamente "ignorando" a nuance da discordância humana.
Robustez: Essas descobertas mantêm-se através de diferentes funções de lente (1D e 2D) e diferentes arquiteturas de modelos (BERT, DeBERTa, DistilBERT, etc.), sugerindo que este é um comportamento fundamental de transformadores ajustados.

5. Significado e Implicações

Ferramenta de Diagnóstico: O Mapper fornece um método poderoso para entender como os modelos resolvem a ambiguidade, indo além de métricas escalares para revelar a geometria interna das regiões de decisão.
Desafio a Suposições: Os resultados desafiam a suposição de que os modelos falham em dados ambíguos ao chutar aleatoriamente. Em vez disso, os modelos exibem comportamento sistemático em nível de região, generalizando ao esculpir subestruturas complexas que podem não se alinhar com o consenso humano.
Direções Futuras: Os autores sugerem que essas percepções topológicas podem informar estratégias de modelagem proativa, como:
- Selecionar subconjuntos para treinamento com base na pureza topológica.
- Projetar regimes de ajuste que levem em conta a incerteza topológica.
- Desenvolver avaliações de robustez especificamente para regiões ambíguas.
Reprodutibilidade: Todo o código e configurações estão disponíveis de código aberto, facilitando pesquisas adicionais em análise topológica de PLN.

Em conclusão, o artigo argumenta que a topologia explica a geometria da ambiguidade: modelos ajustados não apenas aprendem a classificar; eles reorganizam o espaço de embeddings em regiões modulares e de alta confiança que frequentemente anulam a incerteza presente nas anotações humanas.