💻 computer science

Adversarially Guided Diffusion for LiDAR Range Image Synthesis

Este artigo propõe o primeiro ataque adversarial irrestrito baseado em difusão para segmentação de imagem de alcance LiDAR 2D, o qual aproveita a orientação adversarial durante a amostragem para gerar exemplos realistas e preservadores de variedade que induzem erros de segmentação controláveis e transferíveis.

Autores originais: Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está dirigindo um carro autônomo. Seus olhos são sensores LiDAR, que disparam feixes de laser e transformam o mundo em um mapa 3D gigante feito de milhões de pequenos pontos. Para entender o que é um carro, um pedestre ou uma estrada, o computador esmaga esse mapa 3D em uma imagem de amplitude 2D — como um mapa de calor onde cada pixel diz ao computador o quão longe algo está.

Agora, imagine um pregador de peças digital que quer enganar este carro. Ele não quer apenas cutucar alguns pixels com um minúsculo e invisível grão de ruído (que é como a maioria dos hackers tenta fazer). Em vez disso, ele quer reimaginar todo o cenário do zero, criando um mundo falso, mas perfeitamente realista, que parece exatamente uma rua real, mas faz o cérebro do carro entrar em colapio.

É exatamente isso que este artigo apresenta: uma nova maneira de criar mundos falsos "irrestritos" usando um Modelo de Difusão. Pense em um Modelo de Difusão como um mestre artista que começa com uma tela cheia de estática (como a neve da TV) e, lentamente, passo a passo, limpa a imagem até que um belo quadro emerja. Normalmente, esse artista segue uma receita rigorosa para pintar uma rua realista.

A Grande Ideia: Guiando o Artista com uma Bússola de "Truque"
Os autores descobriram como enfiar uma bússola secreta na mão do artista. Enquanto o artista pinta a imagem, esta bússola (chamada de "orientação adversarial") sussurra: "Ei, faça aquela estrada parecer uma calçada", ou "Faça aquele carro parecer um arbusto".

Mas aqui está a mágica: a bússola não apenas rabisca linhas bagunçadas. Ela guia o artista para pintar uma cena que ainda é incrivelmente realista. A rua falsa parece exatamente uma rua real, com curvas suaves e geometria adequada, mas o carro autônomo a vê de forma completamente diferente.

O Que Eles Descobriram (A Boa Notícia para os Hackers, a Má para a Segurança)
Os pesquisadores testaram isso em um conjunto de dados famoso chamado SemanticKITTI. Eles descobriram que, ao aumentar a "força" de sua bússola secreta (que eles chamam de escala de orientação), eles podiam controlar o quanto a precisão de segmentação do carro caía.

Com um toque suave (escala de orientação 3), a precisão do carro caiu cerca de 25,7% (em relação a uma linha de base limpa).
Com um empurrão mais forte (escala 6), a queda foi de 46,8%.
Com um empurrão muito forte (escala 10), a precisão caiu 64,2%.

Melhor ainda, esse truque funciona em diferentes tipos de cérebros de carros, não apenas no que eles usaram para treinar a bússola. Quando tentaram em um modelo de carro diferente (RangeNet++), a precisão ainda caiu 40,1% com esse mesmo empurrão forte. Isso sugere que o truque é muito bom em enganar diferentes sistemas, não apenas aquele para o qual foi projetado.

O Que Eles Argumentam Contra (O "Jeito Antigo" é Bagunçado)
O artigo argumenta explicitamente contra a antiga maneira de hackear, que envolve pegar uma foto real e adicionar minúsculos e invisíveis grãos de ruído (usando métodos como FGSM ou SegPGD).

Os autores mostram que esses métodos antigos são como tentar pintar uma obra-prima adicionando minúsculos ruídos de alta frequência. O resultado parece granulado e antinatural para o olho humano.
Em seus testes, os métodos antigos criaram imagens com uma pontuação de "Distância de Imagem de Amplitude Fréchet" (FRID) de 207,5 (uma medida de quão falsa a imagem parece), enquanto o novo método deles manteve a pontuação em 136,1 (muito próxima da vida real).
O artigo sugere que este novo método oferece um trade-off distinto entre eficácia e realismo. Diferente dos métodos antigos, que são limitados por pequenas perturbações, esta abordagem gera amostras que são altamente realistas, ao mesmo tempo em que causam uma degradação significativa de desempenho, tornando-as uma alternativa poderosa e única para testar a robustez do sistema.

O Quão Certos Eles Estão?
Os autores estão muito confiantes em suas medições. Eles não apenas adivinharam; eles executaram 1.024 simulações diferentes para cada teste. Eles mediram a "Distância de Chamfer" (uma forma de verificar se as formas 3D estão distorcidas) e descobriram que seu método criou mudanças maiores e mais estruturadas (indo de 0,52 para 1,38) em comparação aos métodos antigos, que mal alteravam a geometria.

Eles também testaram uma versão "direcionada", onde tentaram especificamente transformar uma estrada em uma calçada. Em um exemplo, eles conseguiram reclassificar 35,8% dos pixels da estrada como uma calçada, mantendo o restante da cena com aparência normal.

A Conclusão
Este artigo sugere que agora podemos gerar cenas de LiDAR falsas que são tão realistas que fazem os carros autônomos cometerem erros significativos de percepção, tudo isso enquanto parecem perfeitamente naturais para um observador humano. Não é um problema resolvido para a segurança ainda, mas prova que a maneira "irrestrita" de atacar — reescrevendo todo o cenário em vez de apenas cutucá-lo — é uma nova ferramenta poderosa que os pesquisadores precisam compreender.

Resumo Técnico: Difusão Guiada Adversarialmente para Síntese de Imagens de Alcance LiDAR

Definição do Problema
A segmentação semântica de LiDAR é uma tarefa crítica de percepção para a condução autónoma, onde os modelos processam nuvens de pontos 3D (frequentemente projetadas em imagens de alcance 2D) para atribuir rótulos semânticos a elementos da cena. Estes modelos são suscetíveis a exemplos adversariais — entradas criadas para enganar o modelo, mantendo-se impercetíveis ou estruturalmente inconspícuas. Embora os ataques adversariais tenham sido extensivamente estudados para classificação de imagens e segmentação de nuvens de pontos 3D, os exemplos adversariais irrestritos (UAEs) no domínio das imagens de alcance LiDAR 2D permanecem amplamente inexplorados. Os ataques existentes com limite de norma (ex: FGSM, PGD) aplicam pequenas perturbações a entradas fixas, o que pode introduzir ruído de alta frequência e falhar em generalizar bem através de diferentes arquiteturas. Existe uma necessidade de métodos que gerem amostras adversariais realistas e consistentes com a variedade (manifold), capazes de induzir erros de segmentação estruturados sem depender de perturbações de entrada fixas.

Metodologia
O artigo propõe um ataque adversariai de difusão baseado em modelos irrestritos que orienta o processo de amostragem reversa de um modelo de difusão latente utilizando orientação adversaria de uma perda de segmentação.

Framework: O método utiliza um modelo de difusão latente condicional pré-treinado (especificamente o sem2lidar) treinado no conjunto de dados SemanticKITTI. Este modelo gera imagens de alcance LiDAR condicionadas por mapas de rótulos semânticos densos.
Orientação Adversarial (Adversarial Guidance): Em vez de perturbar uma imagem existente, o ataque modifica a trajetória de difusão reversa. Utiliza Orientação Livre de Treino (TFG), onde uma rede de segmentação substituta diferenciável ( $g_\psi$ ) fornece o sinal de orientação.
Função de Perda: A orientação é impulsionada por uma perda de entropia cruzada densa por pixel ( $L_{adv}$ $L_{a d v}$ ) calculada entre as previsões da rede substituta no latente gerado e os rótulos de condicionamento (para ataques não direcionados) ou um mapa de rótulo alvo (para ataques direcionados).
- Não direcionado: Maximiza a perda contra os rótulos de verdade fundamental (ground-truth) para degradar o desempenho geral.
- Direcionado: Minimiza a perda para forçar regiões específicas (classe de origem) para uma classe alvo.
Processo de Amostragem: O ataque utiliza um amostrador DDIM determinístico. Para garantir que as amostras geradas mantenham a estrutura global da cena antes de introduzir ruído adversaria, a orientação é aplicada apenas após decorrer uma fração predefinida ( $\tau^\star$ ) da trajetória reversa. O passo de orientação empurra a representação latente na direção do gradiente da perda:
$z_{t-1} = z^{ddim}_{t-1} + s \cdot \frac{g_t}{\|g_t\|_2}$
onde $s$ é a escala de orientação e $g_t$ é o gradiente normalizado da perda adversaria.
Diferenciabilidade: Uma vez que o decodificador de difusão inclui um passo de quantização não diferenciável, o método emprega um caminho de decodificação diferenciável para propagar gradientes da rede de segmentação de volta ao espaço latente sem retreinar o modelo de difusão.

Principais Contribuições

Primeiro UAE Baseado em Difusão para LiDAR 2D: Os autores apresentam o primeiro ataque adversaria irrestrito que visa a segmentação de imagem de alcance LiDAR 2D utilizando um modelo de difusão.
Degradação Controlável: O método demonstra que a força do ataque pode ser precisamente ajustada através da escala de orientação ( $s$ ) e da fração de início ( $\tau^\star$ ), oferecendo um compromisso entre eficácia e realismo.
Transferibilidade Forte: Os exemplos adversariais gerados exibem uma transferência significativa para arquiteturas de caixa-preta (ex: atacando o RangeNet++ usando gradientes do CENet e vice-versa), superando as linhas de base com limite de norma em cenários de transferência.
Preservação do Realismo: Ao contrário dos ataques com limite de norma que frequentemente introduzem ruído de alta frequência, o método proposto gera amostras que permanecem estatisticamente próximas da variedade (manifold) de dados reais de LiDAR, preservando a estrutura geométrica e a suavidade visual.

Resultados Experimentais
Os experimentos foram realizados no conjunto de dados SemanticKITTI utilizando RangeNet++ e CENet como redes alvo.

Eficácia: O ataque alcançou uma queda relativa na mIoU (Intersection over Union média) de até 64,2% em configurações de caixa-branca e 58,4% em configurações de transferência (com escala de orientação $s=10$ ).
Comparação com Linhas de Base:
- Comparado ao FGSM (Fast Gradient Sign Method) e SegPGD, o método proposto alcançou uma degradação de caixa-branca comparável ou superior, mantendo uma realidade distributiva significativamente melhor (medida pela Distância de Imagem de Alcance de Fréchet, FRID).
- Por exemplo, em $s=10$ , o ataque alcançou uma queda de 64,2% com um FRID de 136,1, enquanto o FGSM em $\epsilon=0,120$ alcançou uma queda de 63,2%, mas com um FRID muito superior de 207,5, indicando um desvio distributivo maior.
- Crucialmente, o método proposto mostrou transferibilidade superior em comparação com o SegPGD. Em uma força de caixa-branca comparável, o ataque baseado em difusão alcançou uma queda de transferência de 40,1% contra 21,7% do SegPGD.
Qualidade Visual: Comparações visuais (Figura 2) revelaram que as linhas de base com limite de norma exibiam ruído de alta frequência, enquanto o ataque de difusão guiado produzia imagens suaves e consistentes com a cena.
Ataques Direcionados: O método demonstrou com sucesso capacidades direcionadas, tais como reclassificar pixels de "estrada" (road) para "passeio" (sidewalk), com controlo específico sobre a taxa de reclassificação.

Significado e Alegações
O artigo alega preencher uma lacuna crítica na literatura ao abordar ataques adversariais irrestritos no domínio das imagens de alcance LiDAR 2D, um espaço anteriormente não abordado por métodos baseados em difusão. Os autores argumentam que a sua abordagem oferece um compromisso distinto entre eficácia e realismo. Ao operar no regime generativo em vez do regime de perturbação, o método evita os artefactos de alta frequência típicos dos ataques com limite de norma e produz exemplos adversariais que são mais difíceis de defender utilizando técnicas de purificação (que frequentemente dependem de pequenos orçamentos de perturbação). O trabalho sugere que manipular a trajetória de difusão reversa permite a criação de amostras adversariais que generalizam melhor através de diferentes arquiteturas de segmentação, proporcionando uma avaliação mais robusta da segurança dos modelos em sistemas de condução autónoma.

Mais como este