Privacy-Preserving in Connected and Autonomous Vehicles Through Vision to Text Transformation

Resumo Técnico: Transformação de Visão para Texto com Preservação de Privacidade em Veículos Conectados e Autônomos

Definição do Problema
Os Sistemas de Transporte Inteligentes (ITS) dependem cada vez mais de câmeras Equipadas com Inteligência Artificial (AIE) para monitorar o tráfego, detectar violações e avaliar a segurança em Veículos Conectados e Autônomos (CAVs). Embora esses sistemas melhorem a segurança pública, eles capturam imagens do interior dos veículos — um espaço amplamente considerado privado. Técnicas tradicionais de preservação de privacidade, como desfoque (blurring), obscurecimento (fogging) ou mascaramento facial, são frequentemente insuficientes. Elas podem ser imprecisas, falhar em ocultar totalmente regiões sensíveis e são cada vez mais vulneráveis a ataques de reconstrução baseados em IA que podem reverter a ofuscação para revelar identidades originais. Além disso, os métodos existentes operam frequentemente diretamente no espaço da imagem, deixando dados visuais residuais que podem ser explorados para roubo de identidade, perfilamento ou uso comercial não autorizado. Há uma necessidade crítica de uma solução robusta que transforme dados visuais sensíveis em um formato não visual sem comprometer a utilidade semântica necessária para a análise de tráfego.

Metodologia
O artigo propõe um novo framework que transforma dados visuais em texto descritivo usando uma combinação de Modelos de Visão-Linguagem (VLMs), Aprendizado por Reforço (RL) hierárquico e Geração Aumentada por Recuperação (RAG). Em vez de processar imagens diretamente para classificação ou detecção, o sistema as converte em descrições textuais conscientes da privacidade. A metodologia opera através de quatro etapas iterativas:

1. VLM para Geração de Texto: Um VLM é ajustado (fine-tuned) com supervisão sensível à privacidade para converter imagens em descrições textuais iniciais. O modelo é treinado para evitar a geração de descritores de informações de identificação pessoal (PII). Ele utiliza uma arquitetura baseada em Transformer com mecanismos de autoatenção para codificar entradas visuais em embeddings de tokens, guiado por uma função de perda que penaliza a exposição de detalhes privados.
2. Seleção Hierárquica de Prompts via RL: Para refinar o texto inicial, um agente de Aprendizado por Reforço (especificamente usando Otimização de Política Próxima, PPO) seleciona iterativamente prompts de uma lista hierárquica. O agente opera em um espaço de estados definido pelo embedding semântico do texto atual e um escore de privacidade. O espaço de ação envolve a seleção de prompts específicos para guiar o VLM em direção a descrições mais precisas e em conformidade com a privacidade. A função de recompensa equilibra a similaridade semântica (usando SBERT) contra a privacidade visual (medida pela similaridade de reconstrução via um Autoencoder Variacional).
3. Mecanismo de Recompensa Baseado em Feedback (RAG): Um módulo de Geração Aumentada por Recuperação (RAG) atua como um loop de feedback externo. Ele recupera informações contextuais relevantes para validar a saída do agente de RL. Este feedback é integrado à função objetivo do RL, permitindo que o modelo aprenda com sinais de conhecimento externo em vez de depender apenas de recompensas internas. Esta etapa corrige erros potenciais e garante que o texto gerado esteja alinhado com os objetivos de privacidade.
4. Refinamento Iterativo: O processo se repete por um número definido de iterações (ex: três), filtrando progressivamente o conteúdo redundante e aumentando a densidade semântica. A saída final é uma descrição textual que captura detalhes essenciais da cena (ex: tipos de veículos, condições de tráfego) enquanto omite pistas visuais sensíveis.

Principais Contribuições
Os autores identificam três contribuições primárias:

1. Arquitetura Iterativa de Imagem-para-Texto: O desenvolvimento de um framework que gera texto descritivo semanticamente rico e consciente da privacidade a partir de dados visuais, evitando a exposição direta da imagem.
   2.Mecanismo de RL Hierárquico: O design de um loop de RL de múltiplos estágios que refina tanto os prompts quanto as saídas geradas, melhorando a precisão além da geração de passagem única.
2. Aprendizado de Feedback Integrado com RAG: A integração de um loop de aprendizado baseado em feedback usando RAG para validar e otimizar a seleção de prompts, aumentando a relevância e a precisão do texto enquanto garante a preservação da privacidade.

Resultos e Avaliação
O método proposto foi avaliado em dois conjuntos de dados: CFP-FP (verificação de face de celebridades) e AgeDB-30 (verificação de face com grandes intervalos de idade). O sistema foi comparado com modelos de referência (baselines), incluindo VLMs padrão, RL baseado em PPO e métodos de preservação de privacidade existentes (AdvFace, FLDATN).

• Preservação de Privacidade: O modelo proposto de "RL baseado em Feedback" demonstrou proteção de privacidade superior. No conjunto de dados CFP-FP, alcançou um Índice de Similaridade Estrutural (SSIM) de 0,85 e uma Relação Sinal-Ruído de Pico (PSNR) de 22,18, superando outros métodos na minimização da similaridade visual com a imagem original. O Erro Quadrático Médio (MSE) foi maior (365,2), indicando maior divergência da imagem original, o que é desejável para a privacidade. A Avaliação de Risco de Reconstrução Semântica (SRRA) foi a mais baixa, em 11,25%, sugerindo um menor risco de recuperação de identidade.
• Qualidade do Texto e Riqueza Semântica: Apesar do foco na privacidade, o modelo manteve alta utilidade semântica. Gerou descrições significativamente mais longas e detalhadas do que os modelos de referência, com uma contagem de palavras únicas mais alta e um escore de similaridade semântica de 0,7371 em relação ao baseline, indicando forte alinhamento com o significado da cena.
• Privacidade Diferencial: O estudo incorporou Privacidade Diferencial (DP) injetando ruído Gaussiano nos embeddings de sentenças. Os resultados mostraram que a adição de pequenos níveis de ruído (ex: $\sigma=0,3$) reduziu significamente o orçamento de privacidade ($\epsilon$) enquanto mantinha uma qualidade de texto aceitável (escore BLEU de 0,756), estabeleando um trade-off mensurável entre privacidade e utilidade.
• Estudo de Ablação: Experimentos confirmaram que o framework de feedback hierárquico completo superou variantes que utilizavam apenas VLM, RL de estágio único ou RL sem feedback de RAG, validando a necessidade tanto do refinamento iterativo quanto da integração de conhecimento externo.

Significância e Alegações
O artigo afirma ser a primeira tentativa de combinar Aprendizado por Reforço e Modelos de Visão-Linguagem especificamente para transformar dados visuais em texto como um meio de preservação de privacidade em ITS. Os autores argumentam que sua abordagem oferece uma solução mais robusta do que as técnicas tradicionais de desfoque ou ofuscação, que são vulneráveis a ataques de reconstrução. Ao deslocar a representação de dados do espaço da imagem para o espaço semântico/textual, o framework impede efetivamente a exposição de detalhes visuais sensíveis (como rostos ou placas de veículos) enquanto retém a informação operacional necessária para o monitoramento de tráfego. O estudo conclui que este método fornece um mecanismo escalável e adaptável para a transformação de visão-para-texto com preservação de privacidade, adequado para implantação em infraestruturas de cidades inteligentes e ambientes de automação industrial. Sugere-se trabalhos futuros para explorar a geração dinâmica de prompts para maior personalização e generalização.