Resumo Técnico: Sarus – Fusão de Percepção Multi-Vendor Preservadora de Privacidade via Criptografia Homomórfica

1. Definição do Problema

A percepção cooperativa permite que veículos autônomos (AVs) e infraestruturas agreguem saídas de detecção de múltiplos agentes, melhorando a consciência situacional, a robustez contra oclusão e o alcance de sensores. No entanto, em implantações multi-vendor (múltiplos fornecedores), o compartilhamento de saídas de detecção brutas (ex: caixas delimitadoras, escores de confiança) no momento da inferência cria riscos significativos de privacidade e segurança:

• Extração de Modelo: Adversários podem inferir fronteiras de decisão de modelos proprietários ou reconstruir modelos substitutos ao observar escores de confiança e padrões de resposta.
• Vazamento de Dados: Saídas de detecção revelam informações ambientais sensíveis, incluindo a presença e o comportamento de indivíduos ou objetos.
• Vazamento por Canal Lateral: Dados auxiliares como tempo, esparsidade de saída e padrões de detecção podem vazar informações sobre a complexidade da cena ou características dos sensores.
• Inferência Cross-Vendor: Concorrentes podem analisar forças e fraquezas relativas de diferentes modelos comparando as saídas na mesma cena.

Soluções existentes frequentemente dependem de compartilhamento em texto simples (plaintext) ou focam na privacidade durante o treinamento (ex: Aprendizado Federado), o que é inadequado para a colaboração no tempo de inferência, onde as predições de nível de instância devem ser agregadas. Há uma carência de frameworks escaláveis que permitam a agregação segura de saídas de percepção estruturadas sem revelar informações específicas de cada vendor.

2. Metodologia: O Framework Sarus

O Sarus aborda esses desafios transformando as saídas de detecção em representações estatísticas compactas e criptografadas que podem ser agregadas diretamente no domínio criptografado usando Criptografia Homomórfica (HE).

2.1 Conceito Central: Gaussian Splatting e Codificação de Momentos

Em vez de compartilhar caixas delimitadoras discretas (que exigem operações não lineares como Supressão de Não-Máximo), o Sarus converte cada detecção em um Gaussian splat (mancha gaussiana).

• Representação: Uma caixa delimitadora $b = [x_1, y_1, x_2, y_2]$ é modelada como uma distribuição Gaussiana espacial $N((\mu_x, \mu_y), \text{diag}(\sigma_x^2, \sigma_y^2))$. A média $(\mu_x, \mu_y)$ corresponde ao centro da caixa, e a variância é derivada das dimensões da caixa com um parâmetro de escala ajustável $\kappa$.
• Vetores de Momentos: Cada detecção é codificada como um vetor de momentos ponderado contendo estatísticas suficientes:
  $$\mathbf{m} = w \cdot [1, \mu_x, \mu_x^2, \sigma_x^2, \mu_y, \mu_y^2, \sigma_y^2]$$
  onde $w$ é um escore de confiança ponderado pelo nível de confiança.
• Linearidade: Crucialmente, agregar esses vetores de momentos entre múltiplas detecções é uma operação linear (soma). Isso permite que o servidor de fusão combine payloads criptografados sem descriptografá-los.

2.2 Binagem Espacial e Atribuição Suave

Para garantir a escalabilidade e evitar que objetos espacialmente distantes interfiram, a cena é discretizada em uma malha espacial compartilhada (grade específica por classe).

• Atribuição Suave (Soft Assignment): Um vetor de momento de uma detecção é distribuído para até quatro bins vizinhos usando pesos de interpolação bilinear baseados na posição do centro gaussiano em relação aos centros dos bins.
• Agregação Local: Cada vendor agrega localmente os vetores de momentos em acumuladores por bin antes da criptografia. Isso reduz o tamanho do payload de $O(N)$ (onde $N$ é o número de detecções) para $O(B)$ (onde $B$ é o número de bins ocupados), pois múltiplas detecções frequentemente caem no mesmo hipótese espacial.

2.3 Fluxo de Trabalho do Sistema

1. Lado do Vendor:
   • Processar dados locais dos sensores para gerar detecções.
   • Converter detecções em Gaussian splats e computar vetores de momentos.
   • Agregar momentos em bins espaciais (específicos por classe).
   • Criptografar os vetores de momentos agregados e estatísticas associadas (massa de confiança, contagem) usando o esquema CKKS (suportando aritmética aproximada).
   • Transmitir o payload criptografado para o servidor de fusão.
2. Servidor de Fusão:
   • Coleta os payloads criptografados de todos os vendors participantes.
   • Computa a união das chaves ocupadas (pares classe-bin).
   • Realiza a adição homomórfica nos vetores de momentos criptografados para cada chave através de todos os vendors.
   • Agrega estatísticas em texto simples (massa e contagem) para uso posterior.
   • Retorna o payload fundido criptografado.
3. Reconstrução (Parte Autorizada):
   • Descriptografa os vetores de momentos fundidos.
   • Inverte os momentos para recuperar os parâmetros gaussianos fundidos ($\mu, \sigma$).
   • Reconstrói as caixas delimitadoras a partir dos parâmetros gaussianos.
   • Realiza a fusão por cluster: Constrói um grafo de consistência espacial onde os nós são hipóteses de nível de bin. As arestas conectam bins adjacentes se satisfizerem restrições de sobreposição geométrica (IoU) e proximidade estatística (distância de Mahalanobis). Componentes conectados são mesclados para produzir as detecções finais fundidas.

2.4 Modelo de Ameaça

• Servidor Adversário: Honesto-mas-curioso; segue o protocolo, mas tenta inferir entradas individuais de cada vendor a partir dos textos cifrados.
• Vendors Curiosos: Mutuamente desconfiados; podem ver apenas suas próprias entradas e a saída final descriptografada.
• Premissas: O esquema de criptografia é semanticamente seguro; os vendors aderem a um referencial espacial compartilhado e a um esquema de payload. Ataques ativos e comprometimento de chaves estão fora do escopo.

3. Principais Contribuições

• Fusão Baseada em Momentos Criptografados: Um framework que permite a agregação de percepção multi-vendor sem revelar detecções brutas, utilizando a linearidade dos momentos gaussianos.
• Mecanismo de Binagem Espacial: Uma estratégia que garante a fusão escalável com complexidade $O(B \cdot V)$, onde $B$ é o número de bins ocupados e $V$ é o número de vendors, evitando o pareamento explícito entre vendors.
• Avaliação Abrangente: Uma análise de desempenho cobrindo a geração de payload do vendor, fusão HE no lado do servidor e pós-processamento, demonstrando escalonamento linear.
• Validação Empírica: Demonstração no dataset KITTI mostrando que o Sarus recupera efetivamente detecções complementares entre modalidades de câmera (YOLOv8) e LiDAR (PointPillars, PV-RCNN), particularmente em regimes dependentes de distância onde as modalidades individuais degradam.

4. Resultados Experimentais

Os experimentos foram conduzidos usando o dataset KITTI e uma configuração de veículo de teste autônomo no mundo real (pista VTTI) com velocidades variáveis e chuva artificial.

• Corretude: As saídas da fusão homomórfica foram comparadas com a fusão em texto simples. A Interseção sobre União (IoU) entre as duas excedeu 0,99997 em média, com desvios no centro da caixa delimitadora $\le 0,5$ pixels. Isso confirma que a aritmética aproximada baseada em CKKS introduz erro negligenciável para tarefas de percepção.
• Complexidade Computacional:
  • Construção de Payload do Vendor: Escala linearmente com o número de detecções ($O(N)$) e bins ocupados ($O(B)$). A criptografia é o custo dominante.
  • Fusão no Lado do Servidor: Escala como $O(B \cdot V)$. O servidor processa bins agregados em vez de detecções individuais.
  • Pós-processamento: Dominado pela descriptografia e fusão de cluster baseada em grafos, escalando como $O(B + \sum B_c^2)$.
• Overhead de Desempenho: A criptografia homomórfica introduz um overhead de fator constante (variando de 300x a 1000x em comparação ao texto simples) e aumenta o tamanho do payload (fator de expansão do texto cifrado $\approx 3 \times 10^3$). No entanto, o sistema mantém o escalonamento linear, tornando-o previsível e viável para implantação em tempo real sob complexidade de cena limitada.
• Consciência Situacional: O Sarus melhorou significativamente a cobertura ao nível da cena, especialmente para pedestres e em longas distâncias ($\ge 40$m) onde o desempenho do LiDAR degrada devido à esparsidade. Ele agregou com sucesso detecções complementares das modalidades de câmera e LiDAR.

5. Significância e Alegações

O artigo afirma que a fusão de percepção multi-vendor preservando a privacidade é viável para implantação em tempo real quando a compressão estatística (codificação de momentos) e a esparsidade espacial (binagem) são exploradas conjuntamente.

• Viabilidade: Apesar do overhead computacional da HE, o comportamento de escalonamento linear garante que o sistema permaneça previsível e escalável. O overhead de fator constante não impede a operação em tempo real em cenários com complexidade de cena moderada.
• Privacidade vs. Utilidade: O Sarus consegue desacoplar utilidade de vazamento de privacidade. Permite que os vendors contribuam para uma compreensão de cena unificada sem expor comportamentos de modelos proprietários ou dados ambientais sensíveis.
• Limitações: Os autores reconhecem que a aproximação Gaussiana pode degradar a localização precisa da caixa delimitadora em limiares de IoU elevados. O framework assume atualmente o controle de admissão confiável e não lida com adversários ativos ou cenários complexos de gerenciamento de chaves (ex: descriptografia de limiar/threshold), que são deixados para trabalhos futuros.

Em conclusão, o Sarus preenche a lacuna entre a percepção cooperativa e a preservação de privacidade, oferecendo um caminho prático para a colaboração segura entre múltiplos vendors em ecossistemas de direção autônoma.