What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

Resumo Técnico: Delimitação, Sondagem e Rastreamento de Conceitos em LLMs

Declaração do Problema
À medida que os Modelos de Linguagem de Grande Escala (LLMs) influenciam cada vez mais a tomada de decisões, há uma necessidade crítica de compreender seus "processos de pensamento" internos. Embora pesquisas anteriores tenham demonstrado que sondas lineares podem detectar propriedades linguísticas específicas (por exemplo, classes gramaticais, tempo verbal) e conceitos (por exemplo, tempo, localização, verdade) dentro dos embeddings de LLMs, os métodos existentes para detecção de conceitos enfrentam limitações significativas. Autoencoders Esparsos (SAEs), por exemplo, exigem treinamento não supervisionado computacionalmente caro e carecem de controle sobre quais conceitos específicos são detectados, tornando-os inadequados para monitoramento direcionado. Outras abordagens, como solicitar a um LLM que identifique um conceito, são excessivamente custosas para monitoramento contínuo, pois exigem invocações separadas do modelo. Este artigo aborda a necessidade de um método de baixo custo e escalável para criar sondas específicas capazes de monitorar a presença e a ausência de conceitos implícitos dentro dos embeddings de LLMs durante a operação normal.

Metodologia
Os autores propõem um pipeline de três etapas para criar e utilizar sondas de conceitos:

1. Delimitação de Conceitos: A inovação central é um método semiautomático para criar conjuntos de dados binários de alta qualidade para conceitos específicos.

   • Geração de Modelos: Os autores criaram 30.000 modelos de frases a partir de textos do Projeto Gutenberg, filtrados para garantir que focassem em sujeitos humanos e contivessem estruturas coerentes.
   • Geração de Exemplos: Usando um LLM com prompt (gpt-4o), geraram pares de exemplos para cada conceito (presente vs. ausente) imitando a estrutura sintática dos modelos enquanto alteravam a semântica para refletir o conceito-alvo. Esta abordagem visa prevenir "vazamento de rótulos", onde o modelo poderia aprender correlações espúrias em vez do conceito em si.
   • Refinamento e Rotulagem: Para garantir confiabilidade, um classificador LLM com prompt re-rotulou todos os exemplos gerados. Os prompts foram refinados iterativamente para alcançar >90% de precisão em conjuntos de validação rotulados manualmente. Os conjuntos de dados foram filtrados para reter apenas pares com rótulos opostos, garantindo que a sonda aprenda o conceito e não similaridades estruturais. Quatro conceitos foram selecionados: ambição, investigação, democraciae inveja.

2. Treinamento e Avaliação de Sondas:

   • Treinamento: Sondas lineares (classificadores binários) foram treinadas nos embeddings extraídos de várias camadas dos LLMs-alvo. Os autores testaram duas estratégias de embedding representativas: o embedding do último token (N-ésimo) e a média de todos os embeddings em uma camada.
   • Tarefas de Controle: Para verificar se as sondas detectam conceitos codificados nos embeddings em vez de aprender a tarefa independentemente, os autores empregaram tarefas de controle:
     • Randomização: O treinamento em embeddings ou rótulos randomizados resultou em queda de precisão para ~50%, confirmando que as sondas dependem de informações significativas nos embeddings.
     • Redução de Parâmetros: As sondas foram restringidas a menos de 80 parâmetros (via PCA). Alta precisão foi mantida mesmo com compressão significativa, sugerindo que os embeddings codificam os recursos de forma robusta.

3. Rastreamento de Conceitos (Crescimento e Decrescimento):

   • Conjuntos de Dados de Histórias: Os autores construíram 50 histórias de três parágrafos para cada conceito. O conceito-alvo estava presente apenas nas frases de transição conectando os parágrafos e ausente em outros lugares.
   • Monitoramento Dinâmico: As sondas treinadas foram aplicadas aos embeddings de contextos de entrada em expansão (palavra por palavra). Isso permitiu aos autores observar como a probabilidade da presença do conceito flutua à medida que o contexto evolui, rastreando especificamente o "crescimento e decrescimento" do sinal do conceito.

Resultados Chave

• Inferência de Conceitos: O estudo confirma que LLMs (testados nas famílias Llama-3-8B, Gemma-2 e Qwen2.5) inferem os quatro conceitos-alvo. As sondas alcançaram precisão significativamente acima de 50% na maioria das camadas, com a camada de embedding (camada 0) mostrando precisão surpreendentemente alta (87%) para ambição ao usar embeddings médios, embora isso não se mantivesse para contextos mais longos.
• Eficiência da Sonda: As sondas alcançaram desempenho forte com muito poucos parâmetros. Para ambição, a precisão permaneceu acima de 75% com apenas 40 parâmetros e estabilizou em torno de 80 parâmetros, bem abaixo da dimensão de embedding do modelo (4.096 para Llama-3-8B).
• Dinâmica de Rastreamento: As sondas rastrearam com sucesso a presença e a ausência de conceitos em tempo real à medida que o contexto de entrada se expandia. Ao usar embeddings do último token, a saída da sonda subiu acima do limiar de 0,5 quando o conceito estava presente no texto e caiu abaixo dele quando ausente. Por outro lado, os embeddings médios cumulativos diluíram o sinal, falhando em capturar essas dinâmicas, indicando que a inferência de conceitos em LLMs envolve mais do que simples representações de bolsa de palavras.
• Especificidade de Camada: Diferentes camadas em diferentes modelos foram encontradas como ótimas para rastrear conceitos específicos. Por exemplo, no Llama-3-8B, a camada 13 foi a melhor para rastrear ambição, enquanto a camada 31 foi a melhor para investigação.

Significância e Alegações
O artigo afirma dar os "primeiros passos" rumo a uma capacidade de criar conjuntos amplos de sondas para monitorar LLMs. Suas contribuições principais são:

1. Uma metodologia reprodutível e semiautomática para delimitar conceitos em conjuntos de dados binários que minimizam vazamento acidental de rótulos.
2. Demonstração de que sondas lineares podem detectar conceitos implícitos com alta precisão usando parâmetros mínimos (<80), tornando-as computacionalmente baratas.
3. Evidência de que essas sondas podem servir como monitores contínuos de baixo custo, capazes de rastrear o "crescimento e decrescimento" dinâmico de conceitos à medida que o contexto se expande.
4. A liberação dos conjuntos de dados criados (modelos e exemplos específicos de conceitos) para permitir pesquisas adicionais em explicabilidade de LLMs.

Os autores mantêm um tom modesto, reconhecendo limitações como o potencial de dados gerados seguirem distribuições específicas e a dependência de classificadores baseados em LLM para rotulagem. Eles postulam que, embora seu trabalho atual se concentre em quatro conceitos, a escalabilidade deste processo poderia permitir o monitoramento de novos modelos e a exploração de ligações causais entre conceitos internos inferidos e saídas geradas, avançando assim a segurança e a explicabilidade de LLMs.