Resumo Técnico: Seu Modelo de Linguagem Contém Subredes de Personalidade Secretamente

Publicação: ICLR 2026
Autores: Ruimeng Ye, Zihan Wang, Zinan Ling, et al. (Universidade de Tulsa, Northwestern, Arizona)

1. O Problema

Atualmente, para fazer com que Grandes Modelos de Linguagem (LLMs) adotem diferentes personas (comportamentos, tons ou estilos), a comunidade utiliza métodos externos: Prompting (instruções no texto), RAG (recuperação de contexto) ou Fine-tuning (ajuste fino de parâmetros).

O problema central identificado pelos autores é que esses métodos tratam a personalidade como algo que deve ser imposto externamente ao modelo. Isso gera três limitações:

• Prompting/RAG: Sofrem com interferência, controle superficial e instabilidade na fidelidade da persona.
• Fine-tuning: É computacionalmente caro e exige treinamento de novos parâmetros (como LoRA).
• A Pergunta Fundamental: As personas já não estão "escondidas" nos parâmetros do modelo pré-treinado, esperando apenas para serem descobertas?

2. Metodologia

Os autores propõem que as capacidades de persona podem ser extraídas como subredes esparsas de um único modelo pré-treinado, sem qualquer treinamento adicional (training-free). A abordagem baseia-se na Hipótese do Bilhete de Loteria (Lottery Ticket Hypothesis).

A metodologia divide-se em três pilares:

A. Extração via Poda Baseada em Ativação (Activation-Guided Pruning)

Em vez de treinar, eles usam um pequeno conjunto de dados de calibração para observar quais neurônios são ativados quando o modelo responde a prompts de uma persona específica.

1. Estatísticas de Ativação: Calcula-se a magnitude esperada de ativação para cada neurônio sob uma persona $p$.
2. Pontuação de Importância ($S_{ij}$): Combina a magnitude do peso ($|w_{ij}|$) com a frequência de ativação do neurônio.
3. Máscara Binária: Aplica-se uma estratégia de Top-K por linha, mantendo apenas os parâmetros mais importantes para aquela persona e zerando o restante (criando uma máscara esparsa).

B. Poda Contrastiva (Contrastive Pruning)

Para personas que são opostas (ex: introvertido vs. extrovertido), a poda padrão pode gerar máscaras sobrepostas. Os autores introduzem uma estratégia contrastiva que:

• Maximiza a divergência estatística entre as ativações de duas personas opostas ($p^+$ e $p^-$).
• Atribui cada parâmetro à persona para a qual ele é mais informativo, forçando a desentrelaçamento (disentanglement) das subredes.

C. Inferência Dinâmica

Durante o uso, o modelo não é alterado permanentemente. Apenas a máscara correspondente à persona desejada é aplicada aos pesos originais ($W \odot M_p$), permitindo uma troca de personalidade instantânea e eficiente.

3. Principais Contribuições

1. Descoberta de Subredes: Demonstram que personas manifestam-se como padrões de ativação separáveis e que podem ser isolados via poda estruturada.
2. Algoritmo de Poda Contrastiva: Um método que maximiza a separação de comportamentos opostos sem necessidade de gradientes ou treinamento.
3. Eficiência e Performance: Um framework que é totalmente training-free, utiliza apenas máscaras leves e supera métodos de prompting e RAG em alinhamento de persona.

4. Resultados

Os experimentos foram realizados em modelos como Llama-2, Llama-3 e Qwen2.5, utilizando benchmarks de MBTI (personalidade), AI Persona (comportamentos de busca de poder/riqueza) e RoleAgentBench (role-playing).

• Alinhamento de Persona: O método de poda (especialmente a versão Sparse com Poda Contrastiva) superou significativamente o Prompting e o RAG. No teste de "busca de poder", a precisão subiu de ~41% (Prompt) para ~56% (Sparse Contrastive).
• Consistência em Role-Play: No benchmark de personagens (ex: Sherlock Holmes, Harry Potter), o método manteve a coerência do personagem de forma muito mais robusta que os métodos baseados em contexto.
• Preservação de Capacidade Geral: A poda de persona causou uma degradação mínima (≤1.6%) em tarefas de raciocínio e compreensão de linguagem (MMLU e HellaSwag), provando que a "inteligência" geral do modelo permanece intacta enquanto a "personalidade" é alterada.
• Interpretabilidade Mecanística: Testes de reversão mostraram que, ao restaurar módulos específicos de MLP (camadas de feed-forward), o comportamento da persona mudava, provando que as subredes identificadas são caminhos causais reais e não apenas correlações estatísticas.

5. Significância

Este trabalho muda o paradigma de personalização em LLMs. Em vez de ver a personalidade como um "aditivo" (como um prompt ou um adaptador LoRA), os autores provam que a diversidade comportamental é uma propriedade intrínseca e latente dos parâmetros do modelo.

Isso abre caminho para sistemas de IA muito mais eficientes, onde um único modelo pode alternar entre milhares de personas distintas apenas trocando máscaras binárias leves, sem o custo de memória ou processamento de múltiplos modelos ou de processos de treinamento contínuos.