Do LLM Embedding Spaces Recover Expert Structure?

Resumo Técnico: Os Espaços de Embedding de LLMs Recuperam a Estrutura de Especialistas?

Definição do Problema
Embeddings de texto pré-treinados são cada vez mais utilizados como mapas representacionais onde distâncias geométricas entre textos são comparadas contra estruturas conceituais independentemente especificadas. No entanto, uma alta separabilidade de categorias (por exemplo, a capacidade de classificar comunidades) não implica necessariamente que a geometria do embedding recupere relações semânticas refinadas e definidas por especialistas. Este problema é agudo na linguagem de saúde mental, onde as categorias exibem sobreposição de sintomas e fronteiras graduais, fornecendo uma referência externa de especialista. Contudo, comunidades online introduzem confusões (confounds) não clínicas fortes, incluindo jargão específico de subreddits, normas estilísticas e divisões de domínio amplas (saúde mental vs. controle). Um modelo pode agrupar comunidades com sucesso com base nessas pistas distributivas grosseiras sem codificar as relações subjacentes ao nível de sintomas que definem a estrutura do especialista. O artigo investiga se os espaços de embedding de LLMs recuperam a estrutura de sintomas definida por especialistas além da separação de domínio grosseira e como a supervisão específica de tarefas e a escala do modelo influenciam essa geometria.

Metodologia
O estudo utiliza um conjunto de dados de 28 comunidades do Reddit (17 específicas de saúde mental, 11 de controle) abrangendo o período de 2018–2020. Os autores comparam espaços de embedding pré-treinados e supervisionados por ajuste fino (fine-tuning) utilizando duas escalas de modelo: Qwen3-Embedding-0.6B e Qwen3-Embedding-4B.

O framework de avaliação emprega três análises complementares:

1. Análise de Similaridade Representacional (RSA): Os autores constroem protótipos de categoria calculando a média dos embeddings de documentos. Eles geram uma Matriz de Dissimilaridade Representacional (RDM) baseada em distâncias de cosseno entre esses protótipos. Esta RDM derivada do modelo é comparada contra duas matrizes de referência: uma matriz de sintomas derivada de especialistas (baseada em distâncias de Jaccard de perfis binários de sintomas) e uma matriz de domínio-controle. A RSA é computada como a correlação de postos de Spearman entre as entradas do triângulo superior dessas matrizes.
2. Tipicidade Baseada em Protótipo e Análise de Fronteira: Para examinar a estrutura local, os autores calculam a tipicidade do documento (distância ao protótipo da categoria) e margens de protótipo. Eles definem um "escore de alinhamento de fronteira" ($\Delta_{align}$) para medir se a ambiguidade residual de fronteira está concentrada entre pares de categorias vizinhas de especialistas (aquelas com alta sobreposição de sintomas) versus pares de não-vizinhos.
3. Controles de Confusão de Múltiplos Baselines: Para garantir que o alinhamento não seja impulsionado por sinais não clínicos, os autores controlam quatro baselines: escores afetivos de Valência-Arousal-Dominância (VAD), categorias linguísticas LIWC, características de estilo lexical e estruturas de distribuição de tópicos (via Embedded Topic Models).

Resultos Principais

• Recuperação da Estrutura de Especialista: Embeddings pré-treinados mostram um alinhamento mensurável com a estrutura de sintomas definida por especialistas dentro do subconjunto de saúde mental, mesmo sem supervisão. Este alinhamento é significativamente mais forte do que o esperado apenas pela separação de domínio grosseira.
• Impacto da Supervisão: O ajuste fino supervisionado fortalece o alinhamento com a estrutura de especialistas, sendo observados os ganhos mais significativos no nível de categoria mais fino (dentro do subconjunto de saúde mental). O ajuste fino não apenas aumenta a separabilidade global; ele remodela a geometria para reduzir a ambiguidade "fora da estrutura", enquanto concentra a incerteza residual entre pares de vizinhos de especialistas.
• Efeitos de Escala do Modelo: Escalas de modelos maiores (4B vs. 0.6B) melhoram tanto o alinhamento zero-shot quanto os ganhos induzidos pela supervisão. O modelo 4B alcança pontuações de RSA mais altas e mostra uma redução mais pronunciada nas associações com baselines não clínicos.
• Robustez de Confusão: O alinhamento observado persiste mesmo após o controle de VAD, LIWC, estilo lexical e distribuições de tópicos. Embora baselines ricos em conteúdo (como distribuições de tópicos) expliquem uma parte do alinhamento, um resíduo substancial de alinhamento com a estrutura de especialistas permanece, sugerindo que a geometria captura mais do que apenas regularidades discursivas ou afetivas.
• Organização Local: O ajuste fino reduz a ambiguidade difusa de fronteira. Tópicos associados ao embaçamento de fronteira em modelos zero-shot (narrativas afetivas compartilhadas) são nitidamente definidos em modelos ajustados, que exibem campos lexicais mais concentrados e específicos de cada categoria.

Significância e Alegações
O artigo argumenta que os embeddings de LLMs podem recuperar a geometria de categoria relevante para especialistas, mas essa recuperação é parcial, dependente de nível e moldada pela supervisão e escala. Os autores alertam que o desempenho de classificação por si só é insuficiente para inferir a estrutura semântica; controles explícitos para confusões e análises estratificadas por nível são necessários.

As principais contribuições incluem:

• Um framework de nível de representação que combina RSA, tipicidade baseada em protótipo e controles de confusão de múltiplos baselines para testar a recuperação da estrutura de especialista além da separação de domínio.
• Evidência empírica de um padrão dependente de nível onde modelos pré-treinados codificam a organização ao nível de sintomas, e a supervisão amplifica este alinhamento de forma mais eficaz na granularidade mais fina.
• Demonstração de que escalas maiores e supervisão reduzem conjuntamente as associações com baselines não clínicos, resultando em uma geometria mais específica de categoria.

Limitações
Os autores explicitamente notam que sua referência de especialista é um benchmark estruturado para comparação de nível de categoria, não uma ontologia diagnóstica clínica capaz de capturar severidade ou comorbidade ao nível individual. Os achados apoiam uma alegação limitada: os embeddings pré-treinados contêm sinais organizacionais significativos, porém incompletos, que a supervisão fortalece. O estudo é limitado a uma família específica de modelos e um conjunto de dados; a generalizabilidade para outras arquiteturas e fontes de linguagem menos específicas de comunidade permanece uma questão aberta. Além disso, as análises de tópicos são interpretativas, não causais.