Resumo Técnico: Grandes Modelos de Linguagem Codificam Semântica e Alinhamento em Representações Linearmente Separáveis

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em diversos domínios semânticos e tarefas de alinhamento, os mecanismos internos pelos quais eles organizam e codificam esse conhecimento permanecem opacos. Especificamente, não está claro até que ponto os LLMs organizam linearmente representações relacionadas à compreensão semântica de alto nível (ex: disciplinas científicas distintas) e atributos comportamentais (ex: seguimento de instruções, alinhamento de segurança). Trabalhos anteriores focaram amplamente em características lexicais estreitas ou atributos comportamentais binários, deixando uma lacuna na compreensão de como o conteúdo semântico composicional de alto nível e os comportamentos de alinhamento são estruturados geometricamente no espaço latente de modelos autorregressivos.

Metodologia

Os autores conduziram um estudo empírico em larga escala analisando representações ocultas em 11 modelos autorregressivos decoder-only (variando de 124M a 24B de parâmetros) e seis tópicos científicos de alto nível (Ciência da Computação, Economia, Engenharia Elétrica, Matemática, Física e Estatística).

1. Coleta de Dados: O estudo utilizou resumos do conjunto de metadados do arXiv, garantindo conteúdo escrito por humanos e estrutura consistente. Os prompts foram processados através dos modelos, e os estados ocultos foram extraídos de todas as camadas imediatamente antes da geração do primeiro token.
2. Análise de Separabilidade Linear: A ferramenta analítica central foi um Support Vector Machine (SVM) de margem rígida. Os autores treinaram SVMs em estados ocultos para classificar pares de tópicos. Uma alta acurácia do SVM indica que as representações dos dois tópicos formam clusters linearmente separáveis no espaço latente.
3. Verificações de Robustez:
   • Mascaramento de Palavras-Chave: Para determinar se a separabilidade dependia de palavras-chave superficiais, os autores mascararam palavras específicas do domínio com base em limiares de frequência (0–99%) e reavaliaram a separabilidade.
   • Dimensionalidade Intrínseca: A Decomposição de Valor Singular (SVD) foi usada para avaliar a dimensionalidade intrínseca dos subespaços ocupados pelas representações semânticas.
4. Alinhamento e Seguimento de Instrução:
   • Cadeia de Pensamento (CoT): Os autores compararam os estados ocultos de questões idênticas com e sem uma instrução de CoT (diferindo em aproximadamente 15 tokens) para testar deslocamentos geométricos induzidos por prompts de raciocínio.
   • Segurança: Usando o dataset WildJailbreak, os autores analisaram o agrupamento de quatro tipos de prompts: Direto Benigno, Direto Nocivo, Injeções Benignas (adversariais, mas seguras) e Injeções Nocivas (jailbreaks).
5. Prova de Conceito (Barreira de Segurança no Espaço Latente): Um probe de Perceptron Multicamadas (MLP) leve foi treinado nos estados ocultos da camada final para classificar a intenção do prompt (classificação de 4 classes: injeção vs. direto; benigno vs. nocivo). Este probe foi avaliado contra defesas ao nível de token, como o Llama Guard 3.

Contribuições Principais e Resultados

1. Separabilidade Linear Progressiva de Representações Semânticas

O estudo descobriu que a informação semântica de alto nível reside em subespaços de baixa dimensão que formam representações linearmente separáveis.

• Dependência de Profundidade: A separabilidade aumenta com a profundidade da camada. Em camadas mais profundas, as representações de diferentes domínios (ex: Física vs. Ciência da Computação) tornam-se cada vez mais distintas, frequentemente atingindo uma separabilidade linear quase perfeita (acurácia do SVM aproximando-se de 1.0).
• Robustez: Esta separabilidade persiste mesmo quando palavras-chave específicas do domínio são fortemente mascaradas (até 50–60%), sugerindo que a estrutura semântica é distribuída através de pistas implícitas (sintaxe, padrões de discurso) em vez de estar concentrada em itens lexicais específicos.
• Efeitos de Arquitetura: Os padrões de separabilidade variam por arquitetura. Por exemplo, modelos com atenção de consulta agrupada (Mistral) ou atenção de janela deslizante (Gemma) exibem padrões de "dente de serra" na separabilidade através das camadas, correlacionando-se com seus mecanismos de atenção específicos.

2. Codificação Geométrica de Alinhamento e Seguimento de Instrução

A estrutura linear estende-se aos atributos comportamentais:

• Seguimento de Instrução: Prompts contendo instruções de Cadeia de Pensamento produzem representações ocultas que são linearmente separáveis de prompts idênticos sem tais instruções, apesar da mínima diferença de tokens. Isso sugere que o "modo de raciocínio" é codificado como uma direção geométrica distinta.
• Alinhamento de Segurança: Em modelos alinhados para segurança, prompts benignos, nocivos e adversariais formam clusters distintos e separáveis. Notavelmente, injeções nocivas (jailbreaks) tendem a se agrupar mais próximo de entradas benignas do que consultas nocivas diretas, refletindo a vulnerabilidade do modelo ao enquadramento adversarial.

3. Intervenções no Espaço Latente

Com base nessas descobertas geométricas, os autores treinaram um probe de MLP leve (13.9M de parâmetros) nos estados ocultos da camada final para atuar como uma "barreira de segurança no espaço latente".

• Performance: O guardrail alcançou 96.7% de acurácia geral na classificação da intenção do prompt.
• Comparação: Ele superou substancialmente as defesas ao nível de token (especificamente o Llama Guard 3-8B) em prompts adversariais que contornam filtros superficiais. A abordagem do espaço latente reduziu respostas nocivas em mais de 2×, mantendo alta utilidade para consultas benignas.
• Eficiência: Diferente de classificadores baseados em tokens que exigem inferência total do modelo ou grandes contagens de parâmetros, este guardrail opera nos estados ocultos antes da geração de tokens, oferecendo um mecanismo de segurança computacionalmente eficiente e em tempo real.

Significância e Alegações

O artigo afirma que os modelos baseados em transformer desenvolvem uma geometria interna onde o conhecimento semântico e os comportamentos de alinhamento são organizados ao longo de dimensões lineares interpretáveis. Isso desafia a visão de que esses modelos são puramente caixas pretas, sugerindo que eles possuem "impressões digitais distintivas e interpretáveis de alinhamento".

Os autores argumentam que essas descobertas motivam o desenvolvimento de ferramentas cientes da geometria que operam diretamente no espaço latente. Ao aproveitar a separabilidade linear inerente dos estados ocultos, é possível detectar e mitigar conteúdo nocivo e manipulações adversariais sem alterar os pesos do modelo ou depender exclusivamente de filtros externos de nível de token. O estudo fornece uma prova de conceito de que probes lineares simples podem servir como guardrails leves e eficazes, oferecendo um novo paradigma para interpretabilidade de modelos e controle de segurança.

Limitações

Os autores reconhecem diversas limitações:

• O estudo é empírico e limitado a modelos, camadas e domínios científicos selecionados; não fornece garantias teóricas formais.
• A evidência causal para direcionamento (ex: induzir comportamento de CoT via adição de vetores) é preliminar; análises mais rigorosas (ex: perturbação adversarial) são necessárias.
• A análise de segurança baseia-se no dataset WildJailbreak, e a generalização para outros modelos e conjuntos de dados de injeção de prompt requer investigação adicional.
• O estudo não afirma resolver todos os problemas de segurança, observando que trabalhos futuros podem combinar probes de espaço latente com outros mecanismos de defesa.