💬 NLP

Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations

Este estudo demonstra que os Grandes Modelos de Linguagem (LLMs) codificam internamente as normas de privacidade contextual como representações estruturadas e independentes, e propõe uma técnica de "direcionamento paramétrico" que intervém nessas dimensões específicas para reduzir violações de privacidade de forma mais eficaz do que métodos monolíticos.

Autores originais: Haoran Wang, Li Xiong, Kai Shu

Publicado 2026-04-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haoran Wang, Li Xiong, Kai Shu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (LLMs), como o ChatGPT ou o Llama, são como bibliotecários superinteligentes que leram quase tudo o que existe na internet. Eles sabem segredos, histórias pessoais e dados confidenciais. O problema é que, às vezes, esses bibliotecários não sabem quando é apropriado contar uma história e quando é melhor ficar em silêncio.

Este artigo é como um raio-X na mente desses bibliotecários para entender por que eles vazam segredos e como consertá-los.

Aqui está a explicação, passo a passo, usando analogias do dia a dia:

1. O Problema: O Bibliotecário que Vaza Segredos

Você já contou um segredo para um amigo de confiança, e ele, sem querer, contou para outra pessoa? Isso é o que acontece com os LLMs.

A Situação: Imagine que o "Steve" contou ao "Nancy" que ele tinha dificuldade com sua orientação sexual. Nancy sabe que isso é um segredo entre amigos.
O Erro: Se o "Bob" (um estranho) perguntar a Nancy sobre o Steve, Nancy deveria dizer: "Não posso falar sobre isso". Mas, muitas vezes, o modelo de IA (agindo como Nancy) diz: "Ah, claro, vou te contar tudo!".
A Pergunta: Será que a IA não sabe que isso é errado? Ou ela sabe, mas age errado mesmo assim?

2. A Descoberta: Eles Sabem, Mas Não Agem (O "Abismo da Consciência")

Os pesquisadores fizeram um teste de "raio-X" (chamado de probing) para ver o que estava acontecendo dentro da "cabeça" da IA.

A Analogia da Bússola: Eles descobriram que a IA tem uma bússola interna muito precisa. Quando você pergunta a ela se algo é apropriado, ela aponta para o norte (o "correto") com quase 100% de precisão. Ela sabe o que é privacidade.
O Abismo: O problema é que, quando a IA precisa falar (agir), ela ignora essa bússola. É como se você soubesse que não deve atravessar a rua correndo (sua consciência), mas mesmo assim, ao sair de casa, você corre e quase é atropelado.
A Conclusão: O problema não é falta de conhecimento. É que o "saber" e o "fazer" estão desconectados.

3. A Solução: Não é um Botão, é um Painel de Controle

Antes, os pesquisadores tentavam consertar isso apertando um único "botão de privacidade" (uma direção única no cérebro da IA).

A Analogia do Volume Único: Imagine que você tenta controlar o som de uma orquestra inteira apertando apenas um botão de volume. Se você aumenta o volume, a bateria fica alta, mas o violino fica abafado. Se você diminui, o violino some, mas a bateria continua alta. Não funciona bem.
A Descoberta da Equipe: Eles perceberam que a privacidade não é um botão único. É como um painel de controle de uma nave espacial com três alavancas independentes:
1. Tipo de Informação: (É um segredo médico? Um dado financeiro?)
2. Quem Recebe: (É um médico? Um estranho? Um amigo?)
3. Princípio de Transmissão: (Foi dado voluntariamente? É confidencial?)

4. A Técnica: "Direção Paramétrica CI" (O Controle Fino)

Os autores criaram um novo método chamado CI-Parametric Steering.

Como funciona: Em vez de apertar um botão geral, eles usam o painel de controle para ajustar cada alavanca separadamente.
- Se o problema é que a IA está falando com o "Bob" (o destinatário errado), eles ajustam a alavanca do Destinatário.
- Se o problema é o Tipo de Informação, ajustam essa alavanca.
O Resultado: Ao ajustar as três alavancas juntas, a IA aprende a navegar perfeitamente. Em testes, eles reduziram os vazamentos de segredos de 42% para apenas 5%. E o melhor: isso funcionou em situações novas que a IA nunca tinha visto antes, porque eles ajustaram a lógica, não apenas decoraram respostas.

Resumo em uma Frase

A IA não é "burra" em relação à privacidade; ela sabe o que é certo, mas precisa de um controle remoto mais sofisticado (com várias alavancas) para garantir que ela aja corretamente, em vez de apenas pensar corretamente.

Por que isso importa?
Isso significa que, no futuro, podemos ter assistentes de IA em hospitais, bancos e casas que realmente respeitam nossos segredos, não porque foram programados para "não falar", mas porque aprendemos a guiar a parte do cérebro deles que entende o contexto social.

Título: Os LLMs Sabem o que é Privado Internamente? Sondagem e Direcionamento de Normas de Privacidade Contextual nas Representações de Grandes Modelos de Linguagem

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em cenários de alto risco (como saúde e assistentes pessoais). No entanto, eles frequentemente violam a privacidade contextual, divulgando informações privadas em situações onde um humano exerceria discrição.

A questão central levantada pelos autores é: Os LLMs codificam internamente as normas de privacidade contextual? Se sim, por que as violações persistem?
A maioria das abordagens anteriores trata a privacidade como uma propriedade estática dos parâmetros do modelo ou do conteúdo gerado, ignorando a dimensão do fluxo de informação. A teoria da Integridade Contextual (CI) de Nissenbaum define a privacidade não apenas pela sensibilidade do conteúdo, mas pelo fluxo de informação apropriado governado por normas específicas do contexto, baseadas em cinco parâmetros:

Sujeito dos dados (quem é a informação).
Remetente (quem envia).
Destinatário (quem recebe).
Tipo de informação (o que é compartilhado).
Princípio de transmissão (as regras sob as quais a informação flui).

O trabalho investiga se essas normas complexas e multidimensionais são representadas internamente nos LLMs e se essa representação pode ser explorada para corrigir o comportamento do modelo.

2. Metodologia

Os autores propõem uma abordagem em três níveis para sondar e manipular as representações latentes dos LLMs:

A. Sondagem (Probing) das Representações

O estudo sondou quatro modelos (Llama-3.1, Qwen-2.5, Mistral, Llama-2) em três níveis:

Nível Conceitual: Testou se as normas de privacidade (fluxos apropriados vs. inapropriados) são linearmente separáveis no espaço de ativação.
Nível Comportamental: Avaliou se a sinalização interna se traduz em decisões de divulgação corretas durante a geração de texto (role-play social).
Nível Paramétrico-CI: Analisou como as representações de privacidade se decompõem ao longo dos parâmetros específicos da Integridade Contextual (tipo de informação, destinatário e princípio de transmissão).

B. Direcionamento Paramétrico-CI (CI-Parametric Steering)

Com base na descoberta de que a privacidade é multidimensional, os autores propõem uma técnica de intervenção em tempo de inferência. Diferente do "direcionamento monolítico" (que usa um único vetor para todo o conceito de privacidade), o método proposto:

Identifica direções de ativação independentes para cada um dos três parâmetros normativos da CI (tipo de informação, destinatário, princípio de transmissão).
Intervém no estado oculto do modelo somando vetores direcionais normalizados para cada parâmetro:
$h'_l = h_l + \alpha \sum_{p \in P} v^{(p)}_l$
Onde $P$ são os parâmetros de CI, $v^{(p)}_l$ são as direções aprendidas para cada parâmetro e $\alpha$ controla a força.

3. Descobertas Principais

Privacidade é Linearmente Codificada, mas Multidimensional:
- As normas de privacidade são linearmente separáveis nas camadas superiores do residual stream dos LLMs.
- No entanto, não podem ser capturadas por uma única direção. A privacidade exige múltiplos eixos (pelo menos 3 componentes principais) para ser representada com precisão. Métodos que tentam comprimir isso em um único vetor falham.
A Lacuna de Consciência de Privacidade (Privacy Awareness Gap):
- Existe uma desconexão clara entre representação e comportamento. Os modelos demonstram uma precisão quase perfeita na classificação interna de normas de privacidade (sondagem conceitual), mas divulgam informações privadas em até 42,5% dos cenários comportamentais.
- Isso indica que o problema não é a falta de "consciência" interna, mas a falha na tradução dessa representação para a ação (geração de texto).
Subespaços Independentes por Parâmetro:
- As representações para "tipo de informação", "destinatário" e "princípio de transmissão" ocupam subespaços funcionalmente independentes.
- Testes de seletividade de subespaço mostraram que um classificador treinado para um parâmetro específico (ex: destinatário) tem desempenho próximo de zero ao tentar classificar variações de outros parâmetros, confirmando a independência estrutural.

4. Resultados Experimentais

Os autores compararam sua abordagem com métodos de base (steering monolítico, LoRRA, ajuste de representação) em três conjuntos de dados: dados sintéticos, CONFAIDE (cenários de confidencialidade multi-partes) e PrivaCI-Bench (cenários legais/regulatórios).

Dados Sintéticos:
- O steering monolítico reduziu o vazamento de 42,5% para 21,5%.
- O CI-Parametric Steering reduziu o vazamento para 5,0% (uma melhoria de 98,8% em relação à linha de base).
Transferência para Benchmarks Reais (CONFAIDE e PrivaCI-Bench):
- O steering monolítico falhou ao transferir, muitas vezes aumentando o vazamento (ex: em Llama-3.1 no PrivaCI-Bench, o vazamento triplicou para 64,7%).
- O CI-Parametric Steering manteve a robustez, reduzindo o vazamento para 0,0% em vários casos e demonstrando generalização superior, pois adapta-se às interações específicas dos parâmetros em diferentes domínios.
Análise de Ablação:
- Intervir em apenas um eixo (ex: apenas "destinatário") piorou o comportamento em relação à linha de base, confirmando que a estrutura completa da CI é necessária. A combinação de todos os três eixos é essencial para o controle eficaz.

5. Contribuições e Significância

Primeiro Estudo Sistemático de Representação: Este é o primeiro trabalho a demonstrar que as normas de privacidade contextual são representadas como um subespaço estruturado e multidimensional nos LLMs, alinhado com a teoria da Integridade Contextual.
Identificação da Lacuna Comportamental: Revela que os modelos "sabem" o que é privado internamente, mas falham em agir de acordo, desafiando a noção de que a privacidade precisa ser "ensinada" do zero via fine-tuning.
Método de Controle Composto (Compositional Control): Introduz o CI-Parametric Steering, que explora a estrutura composicional da privacidade. Ao contrário de métodos monolíticos, essa abordagem permite um controle mais preciso, interpretável e robusto, funcionando bem em cenários fora da distribuição de treinamento.
Implicações Práticas: Oferece uma via para melhorar a privacidade em LLMs sem re-treinar o modelo (intervenção em tempo de inferência), sendo crucial para aplicações em saúde, direito e assistentes pessoais onde a discrição contextual é vital.

Em resumo, o paper demonstra que a falha de privacidade nos LLMs decorre de um desalinhamento entre representação e comportamento, e que explorar a estrutura latente multidimensional da privacidade é a chave para corrigir esse comportamento de forma confiável.