🤖 AI

SEAT: Sparse Entity-Aware Tuning for Knowledge Adaptation while Preserving Epistemic Abstention

O artigo apresenta o SEAT, um método de ajuste fino esparsa que preserva a capacidade de um modelo de linguagem reconhecer sua própria ignorância (abstenção epistêmica) enquanto aprende novos conhecimentos, sem exigir dados de alinhamento ou re-alinhamento posterior.

Autores originais: William F. Shen, Xinchi Qiu, Nicola Cancedda, Nicholas D. Lane

Publicado 2026-04-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: William F. Shen, Xinchi Qiu, Nicola Cancedda, Nicholas D. Lane

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário extremamente inteligente (o Modelo de Linguagem) que conhece tudo o que foi publicado até o ano passado. Ele é muito honesto: se você perguntar sobre algo que aconteceu hoje ou sobre um assunto que ele nunca viu, ele diz: "Desculpe, não sei. Não tenho essa informação." Isso é ótimo para evitar que ele invente mentiras (alucinações).

Agora, imagine que você precisa atualizar esse bibliotecário com novos livros (novos dados) que chegaram hoje. O problema é que, quando você tenta ensinar essas novas informações a ele da maneira tradicional (o que os cientistas chamam de "ajuste fino" ou fine-tuning), algo estranho acontece: o bibliotecário esquece como ser honesto.

Ele começa a ler os novos livros e, ao ser perguntado sobre algo que não está nos novos livros, ele fica tão confiante que começa a inventar respostas. Ele perde a capacidade de dizer "não sei". Em áreas como medicina ou direito, isso é perigoso: um médico que inventa sintomas é pior do que um que admite que não sabe.

A Solução: O Método SEAT

Os autores deste artigo criaram uma nova técnica chamada SEAT (Ajuste Esparsificado Consciente de Entidade). Pense no SEAT como um método de ensino cirúrgico e inteligente para atualizar o bibliotecário sem perder sua honestidade.

O SEAT funciona com dois truques principais:

1. A "Renovação Parcial" (Ajuste Esparsificado)

Imagine que o cérebro do bibliotecário é uma sala gigante cheia de interruptores (parâmetros). O método tradicional tenta mudar todos os interruptores ao mesmo tempo para aprender o novo. Isso bagunça tudo, inclusive os interruptores que controlam a honestidade.

O SEAT faz diferente: ele congelou a maioria dos interruptores e permite mudar apenas uma pequena parte deles (como 20%).

A Analogia: É como se você fosse reformar uma casa. Em vez de derrubar todas as paredes e reconstruir tudo (o que pode fazer a casa cair), você muda apenas as paredes da cozinha para colocar a nova geladeira, mas deixa o sistema elétrico e a fundação (a honestidade) intactos. Isso impede que a "estrutura" do modelo se desmorone.

2. O "Treino de Confusão" (Regularização com Perturbação de Entidades)

Aqui está a parte mais criativa. O SEAT ensina o modelo a não "generalizar demais".

O Problema: Se você ensina ao modelo que "João é um médico", ele pode acabar achando que "Joãozinho" (um nome parecido) também é médico, ou que "Maria" (outra pessoa) também é, mesmo que você nunca tenha dito isso. Isso é chamado de "vazamento de conhecimento".
A Solução do SEAT: Durante o treino, o sistema pega os exemplos novos e troca os nomes das pessoas por nomes inventados (como "Zorg" ou "Xylo").
A Analogia: É como se você estivesse ensinando a um aluno que "O Professor Silva é ótimo". Mas, ao mesmo tempo, você mostra a ele um "Professor Zorg" (que é fictício) e diz: "Veja, Zorg não é o Professor Silva. Não invente coisas sobre Zorg só porque aprendeu sobre Silva."
Isso força o modelo a aprender o fato específico sem espalhar essa informação para vizinhos que não deveriam tê-la. Ele aprende a manter limites claros: "Eu sei sobre Silva, mas não sei sobre Zorg".

Por que isso é incrível?

Não precisa de um "Treinador de Ética" extra: Métodos antigos precisavam de um segundo passo, com dados caros e difíceis de conseguir, para "consertar" a honestidade depois que o modelo já tinha estragado. O SEAT previne o problema desde o início. Você só precisa dos novos dados.
Funciona em qualquer lugar: Funciona bem em modelos grandes e pequenos, e em dados reais ou sintéticos.
Resultado: O modelo aprende o novo conhecimento perfeitamente (quase 100% de eficiência), mas continua sendo capaz de dizer "não sei" quando você pergunta sobre algo que ele não aprendeu.

Resumo em uma frase

O SEAT é como dar uma atualização de software para um assistente inteligente que muda apenas o necessário para aprender coisas novas, mas usa um "filtro de realidade" para garantir que ele nunca perca a capacidade de admitir quando está sem resposta, evitando assim que ele invente mentiras confiantes.

É uma maneira de garantir que, ao aprender mais, a máquina continue sendo segura e honesta.

Título: SEAT: Ajuste Esparsamente Consciente de Entidades para Adaptação de Conhecimento Preservando a Abstenção Epistêmica

1. O Problema: A Erosão da Abstenção Epistêmica

O artigo identifica um modo de falha crítico na adaptação de Grandes Modelos de Linguagem (LLMs) através de fine-tuning (ajuste fino) com novos conhecimentos.

Abstenção Epistêmica Alinhada: Refere-se à capacidade do modelo de reconhecer quando não possui conhecimento sobre um tópico e recusar-se a responder (ex: "Não tenho informações sobre isso"), em vez de alucinar. Modelos base modernos (pré-ajustados) geralmente exibem esse comportamento de forma robusta.
O Fenômeno de Falha: Ao realizar fine-tuning em novos dados (especialmente em cenários de alto risco como medicina ou direito), os métodos convencionais tendem a substituir a abstenção por respostas confiantes, porém fabricadas (alucinações). O modelo perde a "fronteira epistêmica" que o protegia contra dados não vistos.
Causa Hipotética: A análise interpretável sugere que o fine-tuning padrão causa um deslocamento excessivo das representações (drift) no espaço de ativação residual. Isso faz com que consultas não suportadas (desconhecidas) se tornem indistinguíveis das consultas suportadas (conhecidas), levando o modelo a responder indevidamente.
Limitações das Soluções Atuais: Métodos existentes para corrigir esse problema geralmente exigem dados de alinhamento adicionais, sondagem explícita de fronteiras ou estágios de realinhamento pós-hoc, o que é custoso e muitas vezes inviável em cenários de privacidade ou recursos limitados.

2. Metodologia: SEAT (Sparse Entity-Aware Tuning)

Os autores propõem o SEAT, um método preventivo de fine-tuning que não requer dados de alinhamento externos. O SEAT combina duas técnicas principais para limitar o deslocamento de representações e evitar a generalização indesejada:

A. Atualização Esparsa (Sparse Tuning)

Mecanismo: Durante o ajuste fino, apenas um subconjunto aleatório (ou baseado em importância) dos parâmetros do modelo é atualizado, enquanto a maioria dos parâmetros permanece congelada (frozen).
Objetivo: Restringir o deslocamento global das ativações residuais. Ao limitar os graus de liberdade da otimização, o método impede que o modelo se desvie drasticamente do seu espaço de representação original, preservando assim o comportamento de abstenção em dados não vistos, enquanto ainda permite a aquisição de novos conhecimentos nos parâmetros ativos.

B. Regularização Perturbada por Entidade (Entity-Perturbed KL Regularization)

Mecanismo: O método cria um conjunto de dados perturbado ( $\tilde{D}$ ) onde as entidades de assunto (sujeitos) nas instruções de treinamento são substituídas por entidades fictícias aleatórias, mantendo o contexto restante inalterado.
Objetivo: Impedir a generalização local indesejada (ou "transbordamento" de conhecimento). O modelo é regularizado via Divergência de Kullback-Leibler (KL) para que, ao ser apresentado a uma entidade não vista (mas semanticamente próxima das vistas), ele mantenha o comportamento do modelo base (abstenção) em vez de aplicar o novo conhecimento aprendido erroneamente.
Fórmula de Perda: A função de perda total combina a perda de ajuste fino padrão ( $L_{FT}$ ) com o termo de regularização KL:
$L_{SEAT} = L_{FT} + \gamma L_{KL}$
Onde $L_{KL}$ mede a divergência entre as distribuições preditivas do modelo base e do modelo ajustado nas entradas perturbadas.

3. Contribuições Principais

Identificação de um Modo de Falha Subestimado: O trabalho destaca que a perda de alinhamento durante a adaptação de conhecimento não é apenas sobre esquecer tarefas antigas, mas especificamente sobre a perda da capacidade de dizer "não sei" em dados não vistos.
Evidência Empírica e Teórica: Os autores fornecem evidências de que a abstenção está codificada em direções lineares no espaço de ativação e que o fine-tuning padrão desloca essas representações. Eles formalizam uma ligação entre o deslocamento de ativação e a degradação da abstenção.
Solução Prática e Leve: O SEAT é uma receita de treinamento simples que:
- Não requer dados de alinhamento adicionais.
- Não requer sondagem de fronteiras epistêmicas.
- Não depende de um estágio de realinhamento pós-hoc.
- É aplicável em cenários sensíveis à privacidade e de baixo custo computacional.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos Llama3-8B-Instruct e Qwen2.5-7B-Instruct utilizando conjuntos de dados sintéticos (PISTOL, TOFU) e reais (RWD - notícias pós-corte de conhecimento).

Desempenho de Aquisição de Conhecimento: O SEAT alcançou pontuações de fine-tuning (FT Score) próximas de 1.0, indicando que o modelo aprendeu o novo conhecimento com eficácia, comparável ao fine-tuning completo.
Preservação da Abstenção (IDK Scores):
- O SEAT superou significativamente todos os baselines (incluindo LoRA, EWC, CLoRA, R-tuning e Replay de Experiência).
- Em consultas não verificáveis (desconhecidas), o SEAT manteve uma taxa de abstenção humana (IDKHA) entre 95% e 100%, enquanto os métodos padrão caíram para menos de 5-20% em muitos casos.
- Houve um aumento de 18% a 101% na abstenção avaliada por humanos em comparação com a melhor baseline.
Análise de Representação: Visualizações de PCA mostraram que o SEAT mantém a separação clara entre dados conhecidos e desconhecidos no espaço de ativação, ao contrário do fine-tuning completo que causa colapso dessa separação.
Utilidade Descendente: O modelo ajustado com SEAT manteve o desempenho em tarefas gerais (raciocínio, matemática, QA) sem degradação significativa.
Estudo de Ablação: Confirmou-se que tanto a atualização esparsa quanto a regularização por perturbação de entidade são componentes essenciais; a remoção de qualquer um deles degrada significativamente a preservação da abstenção.

5. Significado e Impacto

O artigo estabelece a preservação da abstenção epistêmica como um objetivo central para a adaptação segura de LLMs.

Segurança em Alto Risco: Em domínios como medicina e direito, onde alucinações podem ter consequências graves, o SEAT oferece um mecanismo preventivo para garantir que o modelo não invente fatos sobre casos ou entidades não vistos durante o treinamento.
Viabilidade Operacional: Ao eliminar a necessidade de dados de alinhamento proprietários ou estágios complexos de realinhamento, o SEAT torna a adaptação de conhecimento segura e acessível para aplicações do mundo real, especialmente em contextos onde os dados de treinamento são privados ou limitados.
Mudança de Paradigma: O trabalho sugere que a estabilidade de representações (limitar o drift) é tão crucial quanto a plasticidade (aprender novo conhecimento) para manter o alinhamento ético e funcional dos modelos.

Em resumo, o SEAT oferece uma solução elegante e eficaz para o dilema entre aprender novos fatos e manter a honestidade epistêmica do modelo, prevenindo a "amnésia" da capacidade de admitir ignorância.