Resumo Técnico: DySem

Declaração do Problema

Calcular Similaridade Semântica de Texto (STS) é uma tarefa fundamental no processamento de linguagem natural, sustentando aplicações como busca semântica, agrupamento e recuperação de informação. Os métodos atuais que utilizam Modelos de Linguagem de Grande Escala (LLMs) geralmente dependem da extração dos estados ocultos da última camada com vetores fixos de alta dimensão para calcular a similaridade entre pares de texto. Os autores argumentam que esse paradigma sofre de duas limitações primárias:

1. Representação Subótima: A última camada oculta dos LLMs é otimizada para previsão do próximo token, codificando informações generalizadas que entrelaçam semânticas centrais com conhecimento mais amplo e não relacionado. Consequentemente, pode não ser o componente mais eficaz para o cálculo puro de similaridade semântica.
2. Redundância e Ruído: As dimensões dos estados ocultos dos LLMs são frequentemente muito grandes (por exemplo, 4096+), introduzindo redundância e ruído significativos. O uso da dimensionalidade total para o cálculo de similaridade incorre em sobrecarga computacional desnecessária, e estudos anteriores sugerem que a integridade semântica é preservada mesmo após a redução de dimensionalidade.

As abordagens existentes geralmente mapeiam todos os textos em um vetor usando os mesmos estados ocultos fixos da última camada e dimensões completas, falhando em aproveitar a estrutura dinâmica interna do modelo ou as necessidades semânticas específicas de pares individuais de texto.

Metodologia: DySem

Os autores propõem o DySem, um novo framework sem treinamento que se afasta das representações estáticas e de dimensão fixa em direção a dimensões semânticas dinâmicas e específicas da amostra. O método opera em três etapas:

1. Extração de Componentes Semânticos via Consenso Multilíngue

Para identificar o significado semântico central de um texto $x$ enquanto filtra artefatos superficiais específicos de cada idioma, o DySem emprega uma estratégia de consenso multilíngue:

• Tradução: O texto de entrada é traduzido para um conjunto pré-definido de $m$ idiomas alvo.
• Prompting: Cada versão no idioma é processada através do LLM usando modelos de prompt específicos (seja um prompt padrão em inglês ou um prompt específico do idioma) para extrair vetores de estado interno.
• Seleção de Componentes: Em vez de usar o estado oculto final ($h^L_n$), o método avalia componentes internos, especificamente as saídas acumuladas de atenção ($A^L_n$) e as saídas acumuladas da FFN ($F^L_n$).
• Identificação de Consenso: Uma dimensão é considerada parte do "conjunto de componentes semânticos" se for consistentemente ativada (valor positivo) em todas as versões no idioma. Os autores definem o conjunto de índice de consenso $I(x)$ com base nessa co-ativação.
• Classificação de Dimensões: Dentro do conjunto co-ativado, as dimensões são classificadas por sua ativação média entre os idiomas, e as dimensões top-$k$ são selecionadas para formar o conjunto de componentes semânticos $S(x)$.

2. Construção do Conjunto Semântico Conjunto

Para um par de texto dado $(x, y)$, o DySem constrói um conjunto semântico conjunto dependente do par $U(x, y)$, tomando a união dos conjuntos de componentes semânticos individuais:
$$U(x, y) = S(x) \cup S(y)$$
Essa alinhamento dinâmico garante que a comparação capture dimensões relevantes para qualquer um dos textos, filtrando efetivamente o ruído de fundo irrelevante e focando em conceitos semânticos compartilhados.

3. Cálculo de Similaridade sobre Dimensões Flexíveis

A similaridade é calculada usando uma similaridade cosseno restrita sobre o conjunto semântico conjunto $U(x, y)$. Os vetores são projetados neste subconjunto dimensional compartilhado, e a similaridade é calculada como:
$$\text{sim}(x, y) = \cos(v_U(x), v_U(y))$$
Crucialmente, a dimensionalidade dos vetores usados para o cálculo é flexível e determinada pelo par de entrada específico, em vez de um tamanho pré-definido fixo.

Contribuições Principais

• Extração Semântica Dinâmica: O artigo introduz um método para descobrir componentes semânticos dinâmicos e específicos da amostra dentro de LLMs, indo além dos estados ocultos estáticos da última camada.
• Consenso Multilíngue: Aproveita a intuição de que o significado semântico central permanece invariante através de traduções para isolar dimensões semânticas do ruído específico de cada idioma.
• Dimensionalidade Flexível: O framework demonstra que STS de alta qualidade pode ser alcançado usando significativamente menos dimensões (frequentemente em torno de 1.000 ou menos) em comparação com o tamanho total do estado oculto, sem treinamento do modelo.
• Análise de Componentes Internos: O trabalho avalia sistematicamente componentes internos, descobrindo que as saídas acumuladas de atenção ($A^L_n$) frequentemente fornecem representações semânticas superiores em comparação com estados ocultos padrão ou saídas de FFN.

Resultados Experimentais

Extensos experimentos foram conduzidos em sete benchmarks padrão de STS (STS12–STS16, STS-B, SICK-R) usando dez LLMs diferentes (incluindo as famílias LLaMA2/3.1, Qwen2.5/3 e Phi3, tanto base quanto ajustadas por instrução).

• Desempenho: O DySem superou consistentemente as linhas de base recentes, incluindo PromptEOL, AlignedWVA e vários métodos de prompting contrastivo. Por exemplo, no modelo Qwen3-8B, o DySem alcançou uma pontuação média de 80,54, superando o AlignedWVA em 5,75 pontos e o PromptEOL em 11,63 pontos.
• Eficiência: Apesar de usar dimensões significativamente menores (variando em média entre 658 e 1240 dimensões, dependendo do modelo e da estratégia de prompt), o DySem alcançou resultados superiores ou competitivos em comparação com métodos que usam vetores completos de 4096 dimensões.
• Validade dos Componentes: Estudos de ablação confirmaram que os componentes semânticos selecionados superam significativamente seleções aleatórias de dimensões. Além disso, as saídas acumuladas de atenção foram identificadas como a representação interna mais confiável para tarefas de STS.
• Sensibilidade ao Prompt: O método demonstrou robustez entre diferentes estratégias de prompt (inglês vs. específico do idioma) e métodos de construção de vetores (Fonte vs. Média), sendo que a combinação de prompts específicos do idioma e vetores médios frequentemente produziu os melhores resultados.

Significado e Alegações

O artigo alega que o DySem fornece uma nova direção para representar textos e avaliar relacionamentos com LLMs minerando diretamente módulos internos do modelo. Seu significado reside em:

1. Eficiência sem Treinamento: Oferece uma abordagem sem treinamento para melhorar a similaridade semântica, tornando-a aplicável a qualquer LLM pré-treinado sem ajuste fino.
2. Redução Dimensional: Desafia a necessidade de usar estados ocultos de dimensão completa para tarefas semânticas, demonstrando que um subconjunto compacto e dinâmico de dimensões é suficiente e frequentemente mais eficaz.
3. Generalização: O framework é apresentado como uma etapa de processamento geral que pode ser aplicada antes do cálculo de similaridade e recuperação de texto, potencialmente reduzindo a sobrecarga computacional em aplicações downstream como indexação e recuperação.

Os autores reconhecem limitações, observando que o custo de codificação inicial envolve uma sobrecarga de inferência de $O(m)$ devido às traduções necessárias e passagens forward independentes, o que pode apresentar desafios para aplicações de escala massiva e inicialização a frio em comparação com codificadores de passagem única. No entanto, argumentam que esse custo está concentrado na fase de construção offline do banco de dados, enquanto as consultas online permanecem eficientes.