The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
Este artigo combina uma análise bibliométrica de 7.369 documentos com uma revisão crítica para revelar que a pesquisa sobre modelos de linguagem de grande escala na cibersegurança está fragmentada entre papéis ofensivos e defensivos isolados, levando os autores a propor um framework de uso duplo acoplado e oito direções de pesquisa priorizadas para abordar a falta de avaliação adaptativa e de estratégias de segurança integradas.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Nos últimos anos, um novo tipo de programa de computador surgiu, capaz de ler, escrever e raciocinar com a linguagem humana. Esses programas, conhecidos como grandes modelos de linguagem, não são apenas chatbots; são ferramentas poderosas que as organizações estão começando a usar para gerir a sua segurança digital. Eles podem analisar milhares de alertas de segurança para encontrar ameaças reais, escrever código para corrigir falhas de software ou até mesmo ajudar as equipas de segurança a planear as suas defesas. Mas estas mesmas ferramentas têm um lado obscuro. Como são tão boas a seguir instruções e a gerar texto, atores mal-intencionados podem enganá-las para escrever malware, criar e-mails falsos convincentes ou contornar regras de segurança. Isto cria uma situação única onde uma única tecnologia serve simultaneamente como o escudo, a arma e o alvo. É o escudo quando protege uma rede, a arma quando ajuda um atacante e o alvo quando alguém tenta enganar o próprio programa. Compreender como estes três papéis interagem é crítico, porque se estudarmos a ferramenta apenas como um defensor, poderemos perder o facto de que a própria ferramenta é vulnerável aos próprios ataques que tenta deter.
Uma equipa de investigadores decidiu mapear este cenário complexo, não através da leitura de alguns artigos, mas analisando milhares deles para ver como a comunidade científica está, de facto, a pensar sobre estes problemas. Eles recolheram quase 13.000 registos publicados entre 2023 e o final de 2026, filtrando-os para um grupo central de 7.369 documentos que abordavam diretamente a interseção destes modelos de linguagem e a cibersegurança. Utilizando um método que trata a investigação como um mapa, observaram com que frequência diferentes tópicos apareciam juntos e quais os estudos mais citados. Queriam saber se os cientistas estavam a estudar os três papéis destes modelos em conjunto, ou se estavam a trabalhar em silos separados. Também queriam ver se a evidência que apoia a segurança destas ferramentas era tão sólida quanto parecia.
Os investigadores descobriram que o campo está a crescer incrivelmente rápido, com o número de documentos relevantes a duplicar ou triplicar quase todos os anos. No entanto, a investigação está profundamente dividida. A vasta maioria dos estudos foca-se apenas num dos três papéis de forma isolada. Apenas cerca de oito por cento dos documentos examinados abordavam mais do que um papel ao mesmo tempo. Isto significa que as pessoas que estudam como atacar estes modelos raramente comunicam com as pessoas que estudam como utilizá-los para defesa. Ainda mais preocupante, quando os investigadores constroem um sistema defensivo utilizando estes modelos, quase nunca testam se esse sistema pode ser enganado pelos próprios ataques que deveria deter. Nos estudos defensivos que analisaram, apenas cerca de onze por cento mencionaram o risco de o próprio modelo ser comprometido. Os investigadores concluíram que, embora a tecnologia seja naturalmente conectada — onde uma ferramenta defensiva é também um alvo potencial — a comunidade de investigação ainda não acompanhou esta realidade.
Quando a equipa olhou mais de perto para a evidência de quão bem estes modelos funcionam como armas ou escudos, descobriu que os números reportados em diferentes estudos eram amplamente inconsistentes. Por exemplo, quando os investigadores testaram o quão bem uma inteligência artificial conseguia atacar um sistema informático, as taxas de sucesso reportadas variaram de zero por cento a noventa por cento. Esta enorme lacuna não se devia ao facto de os modelos estarem a mudar, mas sim porque a forma como os testes foram desenhados era diferente. Alguns estudos deram ao modelo uma enorme vantagem ao dizer-lhe exatamente qual era a fraqueza, enquanto outros o testaram num ambiente realista onde ele tinha de encontrar a fraqueza por conta própria. Os investigadores notaram que muitos estudos não testaram as suas defesas contra atacantes que estavam a tentar ativamente descobrir como as quebrar. Em vez disso, testaram contra ataques estáticos e previsíveis. Isto é como testar uma fechadura contra uma chave que nunca muda, em vez de contra um chaveiro que está a tentar abri-la.
O estudo também revelou que as ameaças mais perigosas estão a subir na escala. A investigação inicial focava-se em truques simples para fazer o modelo dizer algo que não deveria. Agora, o foco está a mudar para sistemas mais complexos onde o modelo pode recordar conversas passadas, utilizar ferramentas e tomar decisões ao longo do tempo. Estes sistemas "agênticos" são muito mais difíceis de proteger porque um único erro pode levar a uma cadeia de ações prejudiciais que se espalha por uma rede. Os investigadores descobriram que, embora existam muitas novas formas de atacar estes sistemas, as defesas são frequentemente frágeis. Uma defesa que funciona hoje pode falhar amanhã se o atacante alterar ligeiramente a sua abordagem. Além disso, as ferramentas utilizadas para medir o sucesso estão frequentemente desatualizadas ou apenas disponíveis em inglês, o que significa que podem não funcionar para o resto do mundo.
Em última análise, o artigo argumenta que não podemos tratar estes modelos como ferramentas simples que são ou boas ou más. São tecnologias de duplo uso onde a linha entre a ofensiva e a defensiva é ténue. Os investigadores sugerem que o trabalho mais importante para o futuro não é apenas inventar novos ataques ou novas defesas, mas sim construir melhores formas de os testar. Precisamos de deixar de assumir que uma defesa funciona só porque passou num teste simples. Em vez disso, precisamos de testar cada sistema defensivo como se fosse também um alvo, verificando constantemente se pode ser enganado pelo conteúdo que deve analisar. Até que a comunidade de investigação comece a estudar estes três papéis em conjunto, continuaremos cegos para o quadro completo de como estas poderosas ferramentas podem ser usadas, mal utilizadas e protegidas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.