Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer

No mundo da inteligência artificial, que evolui rapidamente, surgiu uma nova geração de sistemas de visão computacional, capazes de compreender o mundo tridimensional a partir de fotografias planas. Esses sistemas, conhecidos como modelos de fundação, atuam como um tradutor universal para dados visuais. Em vez de apenas identificar que uma imagem contém um carro ou uma árvore, eles podem reunir várias imagens tiradas de diferentes ângulos para construir um modelo 3D completo e navegável de uma cena. Esta tecnologia promete revolucionar a forma como os robôs navegam, como os veículos autónomos percebem o seu entorno e como interagimos com ambientes digitais. No entanto, tal como as estruturas físicas têm pontos fracos que os engenheiros devem reforçar, estes sistemas digitais possuem vulnerabilidades ocultas. Os investigadores sabem há muito tempo que, ao adicionar quantidades minúsculas e invisíveis de ruído a uma imagem, podem enganar um computador para que este veja algo que não existe. Este é o domínio dos ataques adversários, onde o objetivo é encontrar a menor alteração possível que cause uma falha massiva na compreensão da máquina.

O desafio sempre foi uma questão de velocidade e consistência. Os métodos tradicionais para criar estas imagens enganosas exigem que o computador dedique um tempo significativo a analisar cada cena específica, calculando o padrão de ruído perfeito para aquele momento único. Este processo é demasiado lento para aplicações do mundo real, onde as cenas mudam instantaneamente. Outros métodos utilizam um padrão de ruído único e estático aplicado a todas as imagens, esperando que funcione em todo o lado, mas estes falham frequentemente contra sistemas 3D complexos porque não conseguem adaptar-se à geometria mutável de uma cena. Uma equipa de investigadores da Universidade Baptista de Hong Kong desenvolveu agora uma nova abordagem que resolve ambos os problemas simultaneamente. Eles criaram um sistema que pode gerar um ataque consistente e invisível através de múltiplas vistas de uma cena num único instante, sem necessidade de parar e calcular nada para cada nova situação.

Os investigadores focaram o seu trabalho num modelo específico de alto desempenho chamado Visual Geometry Grounded Transformer. Este modelo foi concebido para receber uma sequência de imagens e reconstruir instantaneamente uma nuvem de pontos 3D, que é essencialmente um esqueleto digital feito de milhões de pontos que representam a forma e a posição de objetos no espaço. A equipa descobriu que, embora este modelo seja incrivelmente rápido e preciso em condições normais, é surpreendentemente frágil quando confrontado com um tipo específico de decepção coordenada. Eles construíram uma ferramenta, que nomearam como um gerador de perturbação adversária multivista, que atua como um filtro de câmara de disparo rápido. Em vez de analisar uma cena e depois elaborar lentamente um truque, esta ferramenta aprende os padrões das fraquezas do modelo e aplica uma distorção personalizada a todas as imagens de uma sequência ao mesmo tempo.

Para que isto funcionasse, o sistema teve de aprender um difícil equilíbrio. Precisava de criar um ruído que fosse forte o suficiente para despedaçar a reconstrução 3D, mas subtil o suficiente para que o olho humano nunca o notasse. Os investigadores desenharam um mecanismo que força o ruído a permanecer consistente através de todos os diferentes ângulos de câmara. Se o ruído parecesse diferente de um ângulo para o outro, o modelo 3D provavelmente o rejeitaria como um erro e corrigir-se-ia. Ao garantir que a distorção estava perfeitamente alinhada em todas as vistas, o sistema conseguia confundir a lógica interna do modelo, fazendo com que este perdesse o controlo sobre a geometria da cena. O resultado foi um colapso completo da estrutura 3D, onde o mundo reconstruído se dissolveu num caos ou desapareceu inteiramente, enquanto as imagens de entrada pareciam perfeitamente normais para um observador humano.

Os experiências mostraram que este novo método era vastamente superior às tentativas anteriores. Quando testado contra os modelos padrão usados para tentar quebrar estes sistemas, o novo gerador atingiu o seu objetivo num único passo, enquanto os métodos mais antigos exigiam dezenas de cálculos lentos e repetitivos para alcançar resultados semelhantes. Em testes envolvendo cenas com até vinte e cinco diferentes vistas de câmara, o novo sistema degradou consistentemente a qualidade da reconstrução 3D, fazendo com que os pontos digitais se dispersassem ou encolhessem até ao nada. Os investigadores descobriram que o ataque era eficaz não apenas na própria forma 3D, mas também na capacidade do modelo de estimar a profundidade e a posição da câmara, que são críticas para a navegação. O sistema podia transformar um mapa claro e detalhado de uma sala numa nuvem de pontos fragmentada e inutilizável em milissegundos.

Um dos aspetos mais impressionantes da descoberta é a eficiência do ataque. Os investigadores demonstraram que a sua ferramenta podia processar uma cena complexa com múltiplas vistas em menos de um segundo, utilizando uma fração da memória de computador necessária pelos métodos tradicionais. Esta velocidade sugere que tal ataque poderia, teoricamente, ser implementado em cenários de tempo real, como um robô a conduzir numa rua ou um drone a voar por uma cidade. O estudo excluiu explicitamente a ideia de que um padrão de ruído único e estático poderia funcionar contra estes modelos 3D complexos, mostrando, em vez disso, que o ruído deve ser dinâmico e consciente da relação entre os diferentes ângulos de câmara para ser eficaz. A equipa também confirmou que o ataque não dependia de distorções grandes e óbvias; as alterações eram tão mínimas que permaneciam invisíveis ao olho humano, preservando a textura e a aparência das fotografias originais enquanto destruíam completamente a capacidade da máquina de compreender o espaço.

As implicações deste trabalho estendem-se para além do laboratório. Os investigadores enfatizam que as suas descobertas destacam uma lacuna de segurança crítica na implementação de sistemas de visão 3D. Se um modelo pode ser enganado de forma tão fácil e rápida, a segurança de aplicações que dependem deles, como carros autónomos ou navegação robótica, poderá ser comprometida. O estudo não afirma que estes sistemas estão partidos sem reparação, mas sim que são atualmente vulneráveis a um tipo específico e altamente eficiente de deceção que não tinha sido totalmente abordado antes. Os autores concluem que o próximo passo urgente é desenvolver defesas robustas e mecanismos de deteção para proteger estes sistemas. Sugerem que, sem tais salvaguardas, a rápida adoção de modelos de fundação 3D poderá expor infraestruturas críticas a novos e perigosos riscos, onde um sinal subtil e invisível poderia fazer com que uma máquina se perdesse no mundo real.