🤖 machine learning

Stable Multimodal Graph Unlearning via Feature-Dimension Aware Quantile Selection

Este artigo propõe o FDQ, um framework de quantis sensível à dimensão das características que aplica adaptativamente limiares de supressão conservadores às camadas de projeção de entrada de alta dimensão em redes neurais gráficas multimodais, alcançando assim um esquecimento estável e eficaz enquanto preserva a utilidade do modelo contra ataques de inferência de associação.

Autores originais: Jingjing Zhou, Yongshuai Yang, Qing Qing, Ziqi Xu, Xikun Zhang, Renqiang Luo, Ivan Lee, Feng Xia

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jingjing Zhou, Yongshuai Yang, Qing Qing, Ziqi Xu, Xikun Zhang, Renqiang Luo, Ivan Lee, Feng Xia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva e incrivelmente inteligente (um grafo multimodal) que organiza informações usando tanto texto (como descrições de livros) quanto imagens (como capas de livros). Esta biblioteca é construída por um arquiteto muito específico (uma Rede Neural de Grafos) que aprendeu a organizar tudo perfeitamente estudando uma enorme coleção de livros.

Agora, imagine que um usuário chega e diz: "Quero esquecer que já li este livro específico." Eles têm um direito legal de "ser esquecidos". A biblioteca precisa remover todos os rastros desse livro e de sua influência sem precisar demolir todo o prédio e reconstruí-lo do zero (o que seria muito lento e caro). Esse processo é chamado de Esquecimento em Grafos.

O Problema: O Erro de "Sobre-Compensação"

O artigo aponta uma falha grave na forma como as bibliotecas atuais lidam com esse pedido.

Pense no arquiteto da biblioteca como tendo dois tipos de ferramentas:

A Porta da Frente (Camada de Entrada): É onde as fotos em alta definição e as longas descrições de texto entram no prédio. Como as fotos e o texto são tão detalhados (de alta dimensão), essa porta da frente é enorme e contém uma quantidade massiva do "conhecimento" do arquiteto sobre como entender o mundo.
Os Corredores Internos (Camadas Mais Profundas): São os corredores onde o arquiteto conecta ideias e toma decisões finais.

O Jeito Antigo: Quando pedem para esquecer um livro, os métodos atuais agem como um zelador desajeitado. Eles pegam uma vassoura gigante e varrem tudo com a mesma intensidade. Eles esfregam os corredores internos e a porta da frente com igual força.

O Resultado: Acidentalmente, eles apagam as grandes e delicadas pinturas na porta da frente (o conhecimento pré-treinado sobre imagens e texto). A biblioteca agora está "segura" em relação ao livro esquecido, mas todo o prédio parece danificado e não consegue mais reconhecer novos livros adequadamente. A utilidade (desempenho) cai drasticamente.

A Solução: FDQ (O "Filtro Inteligente")

Os autores propõem um novo método chamado FDQ (Quantil Consciente de Dimensão de Característica). Pense no FDQ como um filtro inteligente e ajustável que sabe exatamente como lidar com o pedido.

Veja como funciona, usando uma analogia simples:

Identificar a Zona Sensível: O FDQ olha para a biblioteca e percebe: "Ei, a porta da frente é enorme e contém nosso conhecimento mais valioso, pré-pintado. Não podemos esfregar isso com força."
Ajustar a Vassoura: Em vez de usar a mesma força de varredura em todos os lugares, o FDQ usa um toque suave e preciso na porta da frente (as camadas de entrada de alta dimensão). Ele remove apenas a quantidade absolutamente mínima de tinta necessária para esquecer o livro específico.
Ser Agressivo no Interior: Enquanto isso, ele usa uma varredura mais forte e minuciosa nos corredores internos (as camadas mais profundas). É aqui que vivem as conexões específicas com o livro esquecido, então é seguro esfregar essas áreas com mais agressividade para garantir que a memória esteja realmente apagada.
O Truque do "Quantil": O artigo usa um conceito estatístico chamado "quantis" (como classificar uma lista de itens do menor ao maior e escolher os 10% inferiores). O FDQ muda as regras para a porta da frente: ele torna a lista dos "10% inferiores" muito mais rigorosa, o que significa que seleciona menos parâmetros para editar ali. Para os corredores internos, ele mantém a lista padrão.

Por Que Isso Importa

O artigo testou isso em dados do mundo real (como itens de moda com fotos e títulos, e livros com capas e descrições).

O Jeito Antigo: Quando tentavam esquecer um livro, a capacidade da biblioteca de recomendar outros livros caía significativamente. Era como se esquecer um livro fizesse o bibliotecário esquecer como ler inteiramente.
O Jeito FDQ: A biblioteca esqueceu com sucesso o livro específico (provado ao mostrar que hackers não conseguiam dizer se o livro ainda estava no sistema), mas o bibliotecário permaneceu tão bom em recomendar outros livros. A "utilidade" manteve-se alta.

A Conclusão

O artigo afirma que, ao estar consciente do tamanho e da importância de diferentes partes da rede (especificamente as camadas de entrada de alta dimensão), o FDQ previne o "dano catastrófico" que acontece quando você tenta esquecer dados em sistemas complexos e multimodais. Ele permite que o sistema esqueça pontos de dados específicos de forma eficiente sem quebrar a capacidade do modelo de entender o mundo.

Em resumo: O FDQ é uma ferramenta cirúrgica que remove uma memória específica sem amputar a capacidade do cérebro de ver e ler.

Resumo Técnico: Esquecimento Multimodal de Grafos Estável via Seleção de Quantis Consciente da Dimensão de Características

1. Declaração do Problema

O esquecimento de grafos é essencial para cumprir regulamentações de privacidade de dados (por exemplo, GDPR) ao remover a influência de pontos de dados específicos (nós ou arestas) de Redes Neurais em Grafos (GNNs) treinadas, sem a necessidade de retreinamento custoso. No entanto, as estratégias de esquecimento existentes enfrentam uma limitação crítica quando aplicadas a grafos multimodais.

Grafos multimodais incorporam características de alta dimensão (por exemplo, texto e imagens codificados por modelos como CLIP ou ImageBind) juntamente com dados estruturais. Nessas arquiteturas, as camadas de projeção de entrada (a primeira camada que mapeia características brutas para espaços ocultos) contêm uma fração dominante dos parâmetros totais do modelo. Os métodos de esquecimento atuais geralmente aplicam estratégias de seleção e edição de parâmetros uniformes em todas as camadas. Quando aplicados a grafos multimodais, essa uniformidade leva à modificação indiscriminada dessas camadas de entrada sensíveis e de alta dimensão. O artigo observa que esse "excesso de edição" destrói o conhecimento pré-treinado entre modalidades, resultando em degradação catastrófica da utilidade (queda severa no desempenho do modelo) ou no enfraquecimento do mecanismo de esquecimento para preservar o desempenho.

2. Metodologia: O Framework FDQ

Os autores propõem o FDQ (Feature-Dimension Aware Quantile), um framework projetado para permitir o esquecimento estável em grafos multimodais de alta dimensão. O FDQ integra-se à estimativa de importância baseada na Matriz de Informação de Fisher (FIM) diagonal, mas introduz um mecanismo de seleção de quantis adaptativo e inovador.

Mecanismo Central: Seleção de Quantis Consciente da Dimensão de Características

Em vez de aplicar um limiar de quantil global $k$ para selecionar parâmetros para supressão em toda a rede, o FDQ adapta a força de seleção com base no papel da camada e na dimensão da característica de entrada $d$ :

Particionamento de Camadas: Os parâmetros do modelo são divididos em camadas de projeção de entrada ( $\theta_{in}$ ), que processam características brutas de alta dimensão, e camadas mais profundas ( $\theta_{deep}$ ).
Limiar Adaptativo: O FDQ define um fator de escala específico da camada $\alpha^{(\ell)}$ $α^{(ℓ)}$ . Para camadas de entrada onde a dimensão da característica $d$ $d$ excede um limiar $\tau$ $τ$ , o quantil efetivo $k^{(\ell)}_{eff}$ $k_{e f f}^{(ℓ)}$ é apertado (reduzido) por um fator $\rho$ $ρ$ (onde $\rho < 1$ $ρ < 1$ ).
- Fórmula: $k^{(\ell)}_{eff} = \alpha^{(\ell)} \cdot k$ .
- Efeito: Isso resulta em uma seleção mais conservadora (menos parâmetros modificados) para as camadas de entrada sensíveis, enquanto permite que as camadas mais profundas permaneçam editáveis sob limiares padrão.
Construção do Conjunto de Supressão:
- Esquecimento de Nós: O framework calcula pontuações de importância baseadas na FIM para o conjunto de treinamento, o conjunto de esquecimento e o conjunto de vizinhos (para capturar efeitos de passagem de mensagens). Duas pontuações de supressão ( $b_1$ e $b_2$ ) são derivadas para identificar parâmetros especializados no conjunto de esquecimento.
- Esquecimento de Arestas: Uma aproximação do conjunto influenciado é usada para estimar o impacto da remoção de arestas.
- Seleção e Escalonamento: Os parâmetros são selecionados se suas pontuações de supressão caírem abaixo dos limiares de quantil ajustados pelo FDQ. Os parâmetros selecionados são então atenuados por uma razão de sua pontuação em relação ao limiar, limitados por um fator de escala máximo $\gamma$ .

Pipeline

O pipeline do FDQ opera em três etapas:

Calcular FIMs diagonais para conjuntos de dados relevantes (conjunto de retenção, conjunto de esquecimento e conjunto de vizinhos/influenciados).
Construir pontuações de supressão por parâmetro com base em razões de Fisher.
Aplicar limiares de quantis guiados pelo FDQ, específicos por camada, para selecionar e escalar parâmetros, evitando a reconstrução de dados brutos.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

Identificação de uma Limitação Crítica: Os autores demonstram que os métodos existentes de esquecimento de grafos sofrem de degradação severa da utilidade em grafos multimodais devido ao desequilíbrio estrutural dos parâmetros, especificamente o excesso de edição das camadas de projeção de entrada de alta dimensão.
Proposta do FDQ: Um framework inovador que adapta os limiares de seleção de parâmetros com base nas dimensões das características. Ele permite o esquecimento estável ao proteger o conhecimento multimodal essencial nas camadas de entrada, mantendo ao mesmo tempo um esquecimento eficaz nas camadas mais profundas. Ele suporta tanto o esquecimento de nós quanto de arestas sem reconstrução de dados brutos.
Validação Empírica: Experimentos extensivos em conjuntos de dados multimodais do mundo real (Ele-Fashion e Goodreads-NC) demonstram que o FDQ supera consistentemente os métodos mais avançados na preservação da utilidade, mantendo ao mesmo tempo uma proteção de privacidade eficaz contra ataques de inferência de associação.

4. Resultados Experimentais

Os autores avaliaram o FDQ em dois conjuntos de dados de classificação de nós multimodais usando várias combinações de codificadores (por exemplo, CLIP, ImageBind, T5+ViT).

Preservação da Utilidade: O FDQ consistentemente alcançou as maiores pontuações F1 de Esquecimento em ambos os conjuntos de dados e em todas as combinações de codificadores. No conjunto de dados em grande escala Goodreads-NC, o FDQ mostrou vantagens significativas sobre baselines como GNNDelete (que sofreu erros de Memória Insuficiente com ImageBind) e outros métodos que exibiram quedas notáveis de utilidade.
Proteção de Privacidade: Sob Ataques de Inferência de Associação (MIA), o FDQ reduziu as pontuações AUC-ROC para perto de 50% (adivinhação aleatória), indicando forte eficácia de esquecimento. Em contraste, baselines como GNNDelete mostraram valores AUC mais altos, sugerindo sinais residuais de associação.
Robustez a Envenenamento: Em cenários de esquecimento de arestas envolvendo arestas envenenadas, o FDQ manteve alto desempenho após remover a influência envenenada, enquanto outros métodos mostraram quedas substanciais de desempenho.
Eficiência: O FDQ demonstrou alta eficiência computacional, completando o esquecimento em faixas de subsegundo a poucos segundos, significativamente mais rápido do que baselines pesadas de retreinamento ou de estimativa de influência complexa.
Estudos de Ablação: A remoção da consciência da dimensão de características (usando quantis uniformes) ou do mecanismo de seleção de cauda de quantil resultou em pontuações F1 mais baixas, confirmando que ambos os componentes são necessários para desempenho ótimo, particularmente em grafos maiores e mais complexos.

5. Significado e Alegações

O artigo afirma que o FDQ oferece uma solução principial e robusta para o esquecimento consciente de privacidade em sistemas de grafos multimodais de alta dimensão. Seu significado reside em abordar a vulnerabilidade estrutural específica de GNNs multimodais onde as camadas de entrada dominam o espaço de parâmetros. Ao introduzir um mecanismo consciente da dimensão de características, o FDQ resolve o trade-off entre esquecimento eficaz e utilidade do modelo que aflige as estratégias de edição uniformes existentes.

Os autores posicionam o FDQ como uma ferramenta prática para o gerenciamento do ciclo de vida de modelos de grafos multimodais, garantindo conformidade com regulamentações de privacidade de dados sem comprometer as representações ricas aprendidas a partir de modalidades de texto e visuais. Eles reconhecem uma limitação relacionada à sensibilidade aos hiperparâmetros que controlam a força de edição, observando que estes podem exigir ajuste na prática.