💬 NLP

On the Persistent Effects of Lexicality in Large Language Mod

Este artigo investiga como a sobreposição lexical influencia consistentemente as representações através da profundidade e de várias arquiteturas de grandes modelos de linguagem, revelando um regime de transição de meia profundidade onde tanto os sinais lexicais quanto os semânticos se degradam, e demonstrando o impacto negativo resultante em tarefas subsequentes como sumarização e edição de modelos.

Autores originais: Hammad Rizwan, Muhammad Umair Haider, Nishant Subramani, Mona T. Diab, A. B. Siddique, Hassan Sajjad

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hammad Rizwan, Muhammad Umair Haider, Nishant Subramani, Mona T. Diab, A. B. Siddique, Hassan Sajjad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) como uma biblioteca gigante de vários andares, onde cada andar representa uma "camada" diferente de pensamento. À medida que uma frase viaja do térreo (o início) para o último andar (o fim), a biblioteca deve transformar as palavras brutas em um significado profundo e abstrato.

A crença comum era que, conforme você sobe os andares, a biblioteca esquece as palavras específicas usadas e foca inteiramente no significado. No entanto, este artigo argumenta que a biblioteca nunca esquece de fato as palavras. Na verdade, as palavras continuam assombrando o significado até o topo.

Aqui está uma análise das descobertas do artigo usando analogias simples:

1. O Problema da "Sombra da Palavra"

Os pesquisadores descobriram que, mesmo nas partes mais profundas e "inteligentes" do modelo, a representação de uma frase ainda é fortemente influenciada pelas palavras específicas que ela contém, não apenas pelo seu significado.

A Analogia: Imagine que você está tentando encontrar um amigo em uma multidão. Você o descreve pela sua personalidade (conteúdo semântico). Mas o modelo é como um segurança que fica tão distraído pela cor da camisa dele (sobreposição lexical) que confunde duas pessoas usando a mesma camisa, mesmo que uma seja seu amigo e a outra um estranho.
A Descoberta: Se você pegar uma frase e mudar seu significado, mas mantiver muitas das mesmas palavras, o modelo pensa que as duas frases são muito semelhantes. Ele falha em perceber que o significado mudou porque está focado demais na "sombra da palavra".

2. A Armadilha do "Andar do Meio"

O artigo descobriu um fenômeno estranho acontecendo no meio da biblioteca (as camadas intermediárias do modelo).

A Analogia: Pense no processamento do modelo como uma jornada através de um túnel.
- Base: Você vê os tijolos brutos (as palavras).
- Topo: Você vê a escultura finalizada (o significado).
- Meio: Há um vale escuro e nebuloso. Aqui, o modelo perdeu a visão clara dos tijolos, mas ainda não construiu a escultura clara. É uma "terra de ninguém" onde o modelo é, na verdade, pior em entender tanto as palavras quanto o significado.
A Descoberta: Nesta seção intermediária, o modelo tem dificuldade em identificar as palavras originais e também tem dificuldade em entender o significado. É uma zona de transição onde a informação é comprimida e desordenada.

3. O Treinamento Não Corrige a "Sombra da Palavra"

Os pesquisadores testaram modelos que foram especificamente treinados para serem melhores em entender o significado (como modelos usados para mecanismos de busca ou chatbots).

A Analogia: É como contratar um novo bibliotecário que é especialista em encontrar livros pelo resumo do enredo. Você esperaria que ele ignorasse a arte da capa. Mas o artigo mostra que, mesmo esses bibliotecários especialistas ainda são enganados se dois livros tiverem títulos com palavras iguais, mesmo que as histórias sejam completamente diferentes.
A Descoberta: Não importa o quanto você treine o modelo para entender a semântica, o efeito da "sombra da palavra" persiste. O modelo ainda depende de correspondências de palavras superficiais como um atalho.

4. Consequências no Mundo Real

O artigo mostra como essa "sombra da palavra" quebra ferramentas do mundo real que dependem desses modelos.

Sumarização (A Armadilha do "Copiar e Colar"):
- O Cenário: Você pede a uma IA para resumir um artigo de notícias.
- A Falha: A IA pode gerar um resumo que é um absurdo, mas que usa exatamente as mesmas palavras do artigo original.
- O Resultado: As ferramentas atuais que avaliam resumos costentes dão notas altas a esses resumos sem sentido porque eles são muito semelhantes ao texto original (alta sobreposição lexical), embora não transmitam nenhum significado real. O modelo está recompensando a "correspondência de palavras" em vez da "correspondência de significado".
Edição de Modelo (A Armadilha do "Dano Colateral"):
- O Cenário: Você quer atualizar o modelo para que ele aprenda um novo fato (ex: "A capital do País X é a Cidade Y").
- A Falha: Como o modelo é obcecado por padrões de palavras, atualizar o modelo para o País X altera acidentalmente a forma como ele responde perguntas sobre o País Z, se o nome do País Z soar ou parecer semelhante ao do País X.
- O Resultado: A atualização "vaza" para outros tópicos apenas porque eles compartilham palavras semelhantes, quebrando a capacidade do modelo de manter os fatos separados.

Resumo

O artigo conclui que não podemos assumir que os Modelos de Linguagem de Grande Escala conseguiram passar de "pensar sobre palavras" para "pensar sobre significado". As palavras ainda estão lá, puxando as cordas, mesmo nas camadas mais profundas.

A Lição: Se você construir um sistema que dependa desses modelos para entender o significado (como um mecanismo de busca ou um verificador de fatos), você deve ser muito cuidadoso. O sistema pode pensar que duas coisas são as mesmas apenas porque compartilham algumas palavras, mesmo que seus significados sejam totalmente diferentes. Precisamos testar esses modelos com perguntas "traiçoeiras" que tenham palavras semelhantes, mas significados diferentes, para garantir que eles estejam realmente nos entendendo.

Resumo Técnico: Sobre os Efeitos Persistentes da Lexicalidade em Grandes Modelos de Linguagem

Declaração do Problema
Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados como motores de incorporação (embedding) de propósito geral para recuperação, agrupamento e avaliação. Uma suposição prevalecente no campo é que, à medida que as representações progridem através da profundidade do modelo, elas transitam de estruturas léxicas locais para semânticas de nível de sequência abstratas. No entanto, este artigo argumenta que essa suposição é frágil. Evidências empíricas sugerem que a sobreposição lexical frequentemente persiste nas geometrias de incorporação, fazendo com que os modelos confundam similaridade de forma superficial com equivalência semântica. Essa "influência lexical" degrada o desempenho de tarefas subsequentes que dependem de representações orientadas ao significado, como recuperação de documentos e edição de modelos, ao fazer com que os modelos priorizem tokens compartilhados em vez de conteúdo semântico. Os autores observam que a relação entre essa influência lexical e o conteúdo semântico, e sua propagação através da profundidade do modelo e dos regimes de treinamento, permanece pouco compreendida.

Metodologia
Os autores investigam a evolução das representações léxicas e semânticas através da profundidade do modelo usando uma abordagem multifacetada envolvendo testes de estresse adversariais, sondagem por camadas (layer-wise probing) e análise informacional-teórica.

Testes de Estresse Adversariais: O estudo emprega testes de estresse baseados em tripletos usando os conjuntos de dados CounterFact e SugarCrepe++ (SCPP). Cada triplete consiste em um âncora ( $a$ ), uma paráfrase preservadora de significado ( $p$ ) e um distrator lexical ( $d$ ) que compartilha uma sobreposição significativa de tokens com o âncora, mas difere semanticamente. O sucesso é definido como o modelo incorporando o âncora mais próximo da paráfrase do que do distrator. Esta métrica quantifica a taxa de falha impulsionada pela sobreposição lexical.
Sondagem por Camadas:
- Decodificabilidade Lexical: Sondas lineares são treinadas nos estados ocultos para prever a identidade do token de entrada. Isso mede a acessibilidade linear da informação de forma superficial em cada camada.
- Fidelidade Semântica: As incorporações de sentenças de cada camada são avaliadas no Massive Text Embedding Benchmark (MTEB) usando cabeças leves padrão para avaliar o desempenho semântico sem o ajuste fino (fine-tuning) da espinha dorsal para tarefas específicas.
Análise Informacional-Teórica: Os autores analisam a entropia de prompt através das camadas para caracterizar a dinâmica de compressão e descompressão de informação, relacionando essas mudanças aos comportamentos léxicos e semânticos observados.
Estudos de Caso Subsequentes: O impacto da influência lexical é examinado em dois cenários práticos: avaliação de sumarização abstrativa (usando BERTScore e BARTScore) e edição factual de modelos (usando AlphaEdit).

Principais Resultados

Persistência da Influência Lexical: A influência lexical não está confinada às camadas rasas; ela persiste por toda a profundidade dos modelos, incluindo aqueles treinados especificamente para similaridade semântica (modelos de incorporação). Embora o ajuste fino de instrução (instruction tuning) e o aprendizado de métricas melhorem a qualidade geral da incorporação, eles não eliminam a suscetibilidade a adversários de sobreposição lexical.
O Vale de Profundidade Intermediária: Um "vale" consistente é observado nas camadas intermediárias (aproximadamente 40–60% da profundidade do modelo). Nesta região:
- A Decodificabilidade Lexical está em seu nível mais baixo (a identidade do token é menos recuperável linearmente).
- A Fidelidade Semântica estagna ou degrada em tarefas de classificação, recuperação e similaridade textual semântica.
- As Taxas de Falha Lexical atingem o pico, indicando que as representações são pobres tanto para a forma superficial quanto para o significado.
Progressão Não Monotônica: A transição de representações léxicas para semânticas não é uma progressão suave e monotônica. A decodificabilidade da identidade do token flutua, e o desempenho semântico se recupera apenas nas camadas posteriores, frequentemente após o gargalo de baixa entropia.
Alinhamento Informacional-Teórico: O vale de profundidade intermediária alinha-se com um gargalo de baixa entropia e a fase imediata de reexpansão. Contrariando algumas hipóteses anteriores de que o gargalo de baixa entropia abriga as representações mais fortes, os autores descobrem que o desempenho semântico é mais fraco aqui. Uma geometria mais forte e sensível ao significado emerge posteriormente durante a fase de reexpansão.
Implicações Subsequentes:
- Sumarização: A sobreposição lexical faz com que métricas de avaliação como o BERTScore classifiquem incorretamente não-sumarizações (distratores) com pontuação mais alta do que sumários de ouro (gold summaries), mesmo quando os distratores carecem de coerência semântica.
- Edição de Modelo: Atualizações direcionadas a fatos específicos generalizam desproporcionalmente para prompts lexicalmente similares, mas semanticamente não relacionados. Este "viés lexical" compromete a localidade das edições, causando mudanças indesejadas no comportamento do modelo para distratores que compartilham tokens superficiais com o prompt da edição.

Significância e Alegações
O artigo alega que a influência lexical é uma propriedade fundamental e persistente das representações de LLMs que sobrevive a vários regimes de treinamento, incluindo pré-treinamento, ajuste fino de instrução e aprendizado contrastivo. Os autores argumentam que a heurística padrão de usar incorporações da última camada ou assumir uma transição limpa de léxico-para-semântica é insuficiente.

A principal significância reside em demonstrar que:

O viés lexical é robusto: Ele persiste mesmo em modelos explicitamente treinados para minimizá-lo, sugerindo que os paradigmas de treinamento atuais reduzem, mas não eliminam, os atalhos lexicais.
Representações de camada média são transicionais: As camadas intermediárias representam um regime onde tanto os sinais léxicos quanto os semânticos são fracos, desafiando a visão de que as camadas intermediárias são uniformemente ideais para extração de características.
Avaliação e Edição são vulneráveis: Aplicações práticas que dependem da geometria de incorporação são sistematicamente enviesadas pela sobreposição de forma superficial, levando a pontuações de similaridade mal calibradas e comprometendo a localidade da edição de modelos.

Os autores concluem que testes de estresse controlados lexicalmente devem se tornar um diagnóstico padrão para aprendizado de representação, métricas automáticas e intervenções de modelos para garantir a robustez contra falhas semânticas impulsionadas por sobreposição. Eles propõem trabalhos futuros para dissecar o regime de transição de profundidade média usando transformações não lineares para entender a estrutura formada ali e prevenir erros impulsionados por sobreposição.

1. O Problema da "Sombra da Palavra"

2. A Armadilha do "Andar do Meio"

3. O Treinamento Não Corrige a "Sombra da Palavra"

4. Consequências no Mundo Real

Resumo

Mais como este