Resumo Técnico: Bodhi VLM

1. Problema e Motivação

Sistemas de aprendizado que preservam a privacidade frequentemente injetam ruído em representações visuais hierárquicas (como pirâmides de características em detectores de objetos ou camadas de codificadores visuais em Modelos de Linguagem e Visão - VLMs). O desafio central abordado neste trabalho é: como modelar e interpretar o alinhamento entre as perturbações observadas nas camadas da rede neural e um orçamento de privacidade ($\epsilon$) declarado, de forma que seja aplicável a diferentes arquiteturas (backbones de visão e VLMs).

A maioria das abordagens existentes foca em garantir privacidade durante o treinamento (ex: DP-SGD) ou em auditorias post-hoc genéricas. O Bodhi VLM propõe uma abordagem diferente: um modelo de alinhamento de privacidade que não certifica privacidade diferencial formal, mas fornece um sinal interpretável sobre quão bem o ruído observado se alinha com uma distribuição de referência esperada para um determinado orçamento.

2. Metodologia: O Framework Bodhi VLM

O framework proposto consiste em três componentes principais que operam sobre representações visuais hierárquicas:

A. Estratégias de Busca de Características Sensíveis (BUA e TDA)

O sistema identifica quais regiões das características visuais são "sensíveis" (ex: pessoas, placas de carro) e as agrupa em camadas específicas da rede neural.

• Bottom-Up Analysis (BUA): Agrega características de baixo nível (camadas iniciais) para cima. Utiliza algoritmos de agrupamento baseados em NCP (Normalized Certainty Penalty) e MDAV (Maximum Distance to Average Vector) para particionar as características de cada camada em grupos sensíveis ($G^{(s)}_i$) e não sensíveis ($G^{(n)}_i$).
• Top-Down Analysis (TDA): Parte das camadas superiores (semânticas) e propaga a agrupamento para baixo, utilizando operadores de correspondência para vincular grupos de camadas superiores às inferiores.
• Objetivo: Criar uma estrutura hierárquica de grupos sensíveis/não sensíveis sem modificar a arquitetura original do modelo.

B. Avaliação de Privacidade via Expectation-Maximization (EMPA)

Uma vez que os grupos de características sensíveis são identificados, o módulo EMPA avalia o alinhamento do orçamento.

• Mecanismo: O EMPA trata o problema como uma estimativa de mistura de distribuições. Ele ajusta uma mistura de Gaussianas diagonais aos dados de características sensíveis perturbados observados ($\tilde{f}$).
• Comparação: Compara a distribuição ajustada dos dados observados com uma distribuição de referência definida pelo avaliador (ex: Laplace ou Gaussiana com escala $c/\epsilon$).
• Saída: Gera um sinal de discrepância (escore de alinhamento de orçamento, $BAS_\epsilon$) e um viés de pesos ($Bias_\epsilon$).
  • Nota Importante: A saída é relativa à referência. Se o mecanismo real de perturbação difere da referência, o escore reflete tanto o alinhamento do orçamento quanto a incompatibilidade do mecanismo. Não é uma certificação formal de Privacidade Diferencial (DP).

C. Definição de Sensibilidade

A sensibilidade é calculada baseada em conceitos definidos pelo usuário (ex: "pessoa" no conjunto de dados MOT20 ou COCO).

• Para detectores: Baseia-se na confiança do cabeçalho do detector.
• Para VLMs (CLIP, LLaVA, BLIP): Calcula-se a similaridade cosseno entre a característica visual e os protótipos de texto das classes sensíveis.

3. Contribuições Principais

1. Modelagem Formal: Formalização das estratégias BUA e TDA para busca de características sensíveis em backbones de visão e VLMs, utilizando agrupamento NCP/MDAV.
2. Módulo EMPA: Introdução de um estimador de alinhamento de orçamento baseado em nível de características, que fornece um sinal interpretável de discrepância em relação a um orçamento declarado.
3. Aplicabilidade em VLMs: Demonstração de como o framework se aplica às torres visuais de modelos representativos (CLIP, LLaVA, BLIP) sem alterar a arquitetura de fusão multimodal.
4. Validação Empírica: Experimentos abrangentes em detectores (YOLO, DETR, PPDPTS) e VLMs, comparando o desempenho com métricas de discrepância genéricas (Chi-quadrado, K-L, MMD) e baselines específicas de tarefas.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados MOT20 e COCO, com orçamentos de privacidade $\epsilon \in \{0.1, 0.01, 0.001\}$.

• Desempenho BUA vs. TDA: Ambas as estratégias mostraram tendências de desvio comparáveis. O BUA foi ligeiramente mais sensível aos níveis de ruído, enquanto o TDA+EMPA apresentou, em média, um desvio ligeiramente menor em alguns cenários.
• Estabilidade do EMPA: O módulo EMPA forneceu um sinal de alinhamento estável (baixo rMSE em relação à referência) através de diferentes backbones (MDCRF, DETR, PPDPTS) e VLMs.
• Comparação com Baselines:
  • O EMPA superou ou foi competitivo em relação a métricas genéricas (Chi-quadrado, K-L, MMD) e baselines de tarefa (MomentReg, NoiseMLE, Wass-1) na tarefa de alinhamento de orçamento.
  • Em dados sintéticos, o viés do EMPA permaneceu estável, indicando que a estrutura de agrupamento (BUA/TDA) é mais crucial para a estabilidade do sinal do que a magnitude da perturbação isolada.
• VLMs: O framework funcionou consistentemente nas torres visuais de CLIP, LLaVA e BLIP, demonstrando que a lógica de agrupamento hierárquico é transferível entre arquiteturas CNN e ViT.

5. Significado e Limitações

Significado:
O Bodhi VLM oferece uma nova perspectiva para a avaliação de privacidade em sistemas de visão computacional. Em vez de apenas auditar o resultado final ou depender de garantias teóricas de treinamento, ele permite uma auditoria interpretável em nível de características, ajudando a entender como o ruído de privacidade se distribui através das camadas hierárquicas de uma rede neural. É uma ferramenta complementar para sistemas que já utilizam privacidade diferencial ou para auditoria de conformidade.

Limitações Declaradas:

1. Relativo à Referência: O escore depende de um mecanismo de referência definido pelo avaliador. Se o mecanismo real for diferente, o escore pode refletir incompatibilidade de modelo, não apenas violação de orçamento.
2. Dependência de Partição: Em alguns cenários (dados sintéticos), o sinal de discrepância pode ser mais influenciado pela estrutura de agrupamento do que pela escala da perturbação.
3. Escopo Limitado: A validação atual é restrita aos codificadores visuais (torres de visão) de VLMs. A extensão para fusão multimodal completa e caminhos de decodificação de linguagem é trabalho futuro.
4. Sem Certificação Formal: O método não fornece garantias formais de Privacidade Diferencial (DP) de ponta a ponta.

Em resumo, o Bodhi VLM preenche uma lacuna entre a modelagem teórica de privacidade e a análise prática de representações neurais, oferecendo ferramentas para visualizar e quantificar o alinhamento de privacidade em arquiteturas visuais complexas.