LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

Com base no artigo fornecido, aqui está um resumo técnico detalhado de LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection.

Definição do Problema

O pós-treinamento por Aprendizado por Reforço (RL) aumentou significativamente as capacidades de raciocínio visual de Modelos de Raciocínio Multimodais Grandes (MLRMs), permitindo que eles emitam "cadeias de pensamento" (CoT) explícitas antes de responder. No entanto, essa capacidade introduz uma vulnerabilidade de privacidade distinta: embora os métodos atuais de desaprendizado (unlearning) consigam remover fatos sensíveis da resposta final do modelo, eles frequentemente falham em impedir que o modelo recite esses mesmos fatos dentro de seu rastro de raciocínio interno.

Os autores identificam que esse "vazamento de rastro de raciocínio" é substancialmente mais pronunciado em MLRMs treinados por RL do que em seus modelos base sem raciocínio. As abordagens de desaprendizado existentes, que tipicamente focam no ajuste de pesos ou na intervenção no nível da resposta final, são inadequadas para lidar com isso. Elas ou falham em monitorar as trajetórias diversas e exploratórias induzidas pelo RL, ou degradam as capacidades de raciocínio do modelo ao tentar perturbar o rastro.

Observação Chave: A Assinatura de Entropia

O insight central que impulsiona este trabalho é a descoberta de uma assinatura distintiva de entropia ao nível de token associada à recitação de conteúdo sensível memorizado em modelos treinados por RL.

• Padrão de Dois Estágios: Quando um modelo treinado por RL recorda um atributo sensível, ele exibe um padrão característico de ascensão e colapso na entropia ao nível de token ($H_t(v)$).
  1. Estágio de Deliberação: O modelo hesita entre candidatos, causando um pico de entropia conforme múltiplos candidatos competem.
  2. Estágio de Compromisso: Uma vez que o modelo se compromete com o intervalo (span) memorizado, a entropia colapsa para próximo de zero conforme ele recita o atributo deterministicamente.
• Essa assinatura está amplamente ausente em modelos base sem raciocínio, onde as distribuições de entropia são mais caóticas. Essa dinâmica fornece um sinal confiável e livre de treinamento para detectar quando o raciocínio sensível começa e termina.

Metodologia: LEMUR

O LEMUR é um framework de desaprendizado de inferência, totalmente livre de treinamento, projetado especificamente para modelos multimodais nativamente treinados por RL. Ele opera monitorando o processo de decodificação e intervindo apenas quando o conteúdo sensível é detectado. O método consiste em três componentes principais:

1. Troca de Sensibilidade Aumentada por Entropia:

   • O LEMUR combina uma verificação lexical (conjuntos de tokens proibidos) com a assinatura de entropia para acionar um "modo sensível".
   • A condição de gatilho ($g_t$) é ativada se um alto volume de tokens proibidos for detectado (recitação comprometida) OU se uma alta entropia for detectada junto com uma massa menor de tokens proibidos (estágio de deliberação). Isso garante que a intervenção comece no início do intervalo sensível, e não apenas após o modelo ter se comprometido com a resposta errada.

2. Injeção de Âncora Visual Baseada em Entropia:

   • Uma vez no modo sensível, o LEMUR muda da decodificação autorregressiva padrão para um regime de decodificação latente.
   • Em vez de retroalimentar um token discreto, o modelo recebe um embedding contínuo construído via Feedback Latente Constrito (renormalizando a distribuição para excluir tokens proibidos) e Âncoras de Redirecionamento Visual.
   • As âncoras consistem em uma Âncora Visual (embedding médio de tokens especiais visuais para reancorar o raciocínio na imagem) e uma Âncora de Resposta Segura (embeddings de templates de recusa/incerteza).
   • Injeção Controlada por Entropia: A força da injeção dessas âncoras ($\gamma_t$) é modulada dinamicamente pela entropia atual do token. Alta entropia (deliberação) recebe um direcionamento forte; baixa entropia (texto comprometido) recebe um direcionamento mais fraco para preservar a fluência.

3. Duração de Fase Controlada por Entropia Dinâmica:

   • Para evitar que a intervenção persista por muito tempo (degradando a fluência) ou termine cedo demais (permitindo o vazamento), o LEMUR utiliza um mecanismo de saída adaptativo.
   • Ele rastreia a entropia de base do modelo em textos normais e encerra a fase latente apenas quando a entropia se recupera acima de um limiar adaptativo ($\kappa \bar{H}_t$) e a massa proibida é limpa.
   • Um "período de resfriamento refratário" evita a oscilação rápida entre os modos discreto e latente, garantindo a coerência do raciocínio circundante.

Resultados Experimentais

Os autores avaliaram o LEMUR em MLRMs treinados por RL (R1-Onevision-7B e Vision-R1-7B) usando um dataset reconstruído baseado no MLLMU-Bench, que inclui sujeitos fictícios com atributos privados.

• Supressão de Vazamento: O LEMUR superou significativamente tanto os baselines baseados em treinamento (ex: Gradient Ascent, NPO) quanto os baselines livres de treinamento (ex: R-MUSE). Ele alcançou o menor Vazamento de Raciocínio ao Nível de Sujeito (SRL), apagando efetivamente fatos sensíveis tanto do rastro de raciocínio quanto da resposta final.
• Preservação de Utilidade: Ao contrário dos métodos baseados em treinamento que frequentemente degradam as capacidades gerais, o LEMUR preservou o desempenho em dados não esquecidos (divisões Retain e Celebrity) em tarefas de classificação, preenchimento de lacunas e geração.
• Fluência: A métrica de Capacidade de Retenção de Raciocínio (RRA) mostrou que o LEMUR manteve um raciocínio fluente e bem formado, enquanto baselines agressivos frequentemente causavam o colapso do modelo em texto repetitivo ou degenerado.
• Generalização: O método também foi testado em modelos não-RL (Qwen2.5-VL) e corpora de raciocínio visual geral (VQAv2), demonstrando que, embora o sinal de entropia seja mais forte em modelos de RL, o framework permanece eficaz e transferível.

Significância e Alegações

O artigo afirma ser o primeiro método de desaprendizado projetado especificamente para modelos de raciocínio multimodais nativamente treinados por RL. Suas principais contribuições são:

1. Identificação de um Risco de Privacidade: Demonstrar que a exploração induzida por RL cria uma vulnerabilidade de privacidade única, onde os rastros de raciocínio vazam dados sensíveis mesmo quando as respostas estão limpas.
2. Exploração da Dinâmica de Entropia: Mostrar que a assinatura de entropia ao nível de token da recuperação memorizada fornece um sinal confiável e livre de treinamento para detectar e interceptar o vazamento durante a decodificação.
3. Desaprendizado Eficaz Livre de Treinamento: Propor o LEMUR, que alcança um desempenho de desaprendizado de estado da arte sem necessidade de retreinamento, ao direcionar a trajetória de decodificação através do ancoramento visual modulado por entropia.

Os autores concluem que a dinâmica de entropia durante a decodificação oferece uma base promissora para o controle de privacidade em modelos com capacidade de raciocínio, sugerindo que objetivos de segurança futuros poderiam ser abordados explorando esses sinais internos em vez de depender apenas de atualizações de pesos.