🤖 AI

Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle

Este artigo argumenta que remover os humanos do ciclo de vida de segurança impulsionado por IA é fundamentalmente falho porque elimina a independência necessária entre as funções de construção, defesa e teste, criando, assim, pontos cegos compartilhados, erodindo a responsabilidade e deixando os sistemas vulneráveis à exploração adversária previsível.

Autores originais: Mohamed Chahine Ghanem

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohamed Chahine Ghanem

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um projeto de construção de alto risco onde você precisa construir uma fortaleza, guardá-la e depois tentar invadi-la para encontrar pontos fracos. No passado, você contratava três equipes diferentes para esses trabalhos: os Construtores, os Defensores e os Invasores.

O artigo argumenta que estamos correndo para substituir todas essas três equipes humanas por um único robô de IA superinteligente. A ideia é que, se este robô puder escrever código, ele também poderá verificar seu próprio trabalho e tentar hackear sua própria criação. O autor, Mohamed Chahine Ghanem, diz que isso parece eficiente, mas é, na verdade, uma armadilha perigosa.

Aqui está a divisão de por que remover os humanos deste processo é uma má ideia, usando analogias simples:

1. O Problema do "Cérebro Único" (A Monocultura)

Imagine se a pessoa que projetou a fortaleza, a pessoa que guarda os portões e a pessoa que tenta arrombar as fechaduras fossem clones da mesma pessoa. Todos foram à mesma escola, leram os mesmos livros e pensam exatamente da mesma maneira.

O Risco: Se essa única "mente" tiver um ponto cego (um erro que ela não sabe que pode cometer), todas as três funções terão esse mesmo ponto cego.
O Resultado: O Construtor comete um erro. O Defensor (que pensa como o Construtor) não percebe o erro. O Invasor (que também pensa como o Construtor) não sabe como encontrá-lo. A falha passa despercebida porque todos estão olhando para o mundo através do mesmo par de óculos. O artigo chama isso de "monocultura algorítmica".

2. O Problema de "Corrigir a Própria Lição de Casa" (O Oráculo)

Na escola, se você escreve uma redação e depois a corrige você mesmo, é provável que dê a si mesmo uma nota alta porque você sabe o que quis dizer, mesmo que não tenha dito claramente. Você é tendencioso em relação ao seu próprio trabalho.

O Risco: Quando uma IA escreve código e depois escreve os casos de teste para verificar esse código, ela está essencialmente corrigindo sua própria lição de casa. Ela verifica se o código corresponde às suas próprias expectativas, não se o código realmente funciona no mundo real.
O Resultado: O sistema torna-se um ciclo fechado onde ele apenas confirma o que já acredita. Ele perde a capacidade de encontrar erros reais porque carece de um "professor" independente (um humano) para dizer: "Espere, isso não faz sentido".

3. A "Armadilha da Velocidade" (Saindo do Ciclo)

Imagine um piloto de corrida que é tão rápido que o oficial de segurança humano não consegue acompanhar. No começo, o oficial observa o carro. Depois, o carro fica tão rápido que o oficial só consegue observar um resumo posteriormente. Finalmente, o carro é tão rápido que o oficial é apenas um passageiro assistindo a um relatório após o acidente.

O Risco: A IA trabalha na velocidade das máquinas. Se uma IA encontra um erro e o corrige em segundos, um humano não pode possivelmente parar para verificar sem atrasar tudo. Então, começamos a remover o botão de "parar" humano.
O Resultado: Os humanos passam de estarem "dentro do ciclo" (tomando decisões) para "no ciclo" (observando) para "fora do ciclo" (apenas assistindo aos resultados). Quando um humano percebe que algo está errado, a IA já cometeu milhares de erros.

4. O "Alvo Previsível" (O Adversário)

Segurança é um jogo de gato e rato. Se o rato (o defensor) sempre pensa da mesma forma, o gato (o hacker) aprende exatamente como capturá-lo.

O Risco: Se o mesmo modelo de IA é usado para construir, defender e testar, todo o sistema torna-se previsível. Um hacker só precisa descobrir como enganar um tipo de IA, e poderá enganar todo o sistema.
O Resultado: É como construir um castelo com apenas um tipo de fechadura. Uma vez que um ladrão abre essa fechadura, todo o castelo cai. O artigo observa que, em testes do mundo real, sistemas de IA que eram excelentes em hackear outras máquinas falharam miseravelmente quando enfrentaram humanos que podiam pensar de forma criativa e imprevisível.

5. O Problema de "Não Ter a Quem Culpar" (Responsabilidade)

Se um construtor humano comete um erro, você pode perguntar a ele: "Por que você fez isso?" e responsabilizá-lo. Se uma máquina comete um erro, a quem você pergunta?

O Risco: Se a IA constrói, defende e testa a si mesma, e algo dá errado (como uma violação de segurança massiva), não há humano para ser responsabilizado. A máquina não "escolheu" falhar; ela apenas seguiu seu código.
O Resultado: Isso cria um vácuo de responsabilidade. Sem um humano para validar o trabalho, o sistema perde a disciplina que vem de saber que você terá que responder por suas ações.

A Solução: Manter o Humano no Comando

O artigo não diz para pararmos de usar a IA. Na verdade, a IA é ótima para fazer o trabalho pesado, escrever código rapidamente e encontrar erros óbvios.

No entanto, o autor argumenta que os humanos devem permanecer a "Cabeça" da operação.

A IA deve ser as mãos e os olhos (fazendo o trabalho).
O Humano deve ser o cérebro que fornece o julgamento independente.

Precisamos de humanos para serem o "oráculo externo" (o professor que corrige a lição de casa), o "disjuntor" (aquele que pode apertar o botão de emergência) e a pessoa que assume a responsabilidade. Se removermos o humano inteiramente, não estaremos apenas automatizando um trabalho; estaremos quebrando o sistema de segurança que mantém o mundo digital seguro.

Resumo Técnico: Construtor, Defensor, Quebrador: O Caso Contra a Remoção do Humano do Ciclo de Vida de Segurança Impulsionado por IA

Definição do Problema
O artigo aborda a tendência emergente na cibersegurança onde uma única família de modelos de IA generativa é cada vez mais implantada para desempenhar todos os três papéis críticos do ciclo de vida de segurança: construir (geração de código), defender (detecção de intrusão e endurecimento) e quebrar (descoberta de vulnerabilidades e fuzzing). Embora a assistência parcial de IA seja amplamente aceita, a narrativa predominante sugere que a autonomia total — removendo o humano do loop inteiramente — é o desfecho natural. O autor argumenta que essa transição da assistência parcial para a autonomia total representa uma mudança qualitativa, não meramente uma quantitativa. O problema central é que quando o construtor, o defensor e o quebrador são extraídos da mesma distribuição generativa (uma "monocultura algorítmica"), eles herdam um conjunto compartilhado de pontos cegos. Essa convergência colapsa a independência necessária para uma verificação significativa, cria um alvo previsível para adversários e dissolve o locus de responsabilidade.

Metodologia e Base de Evidências
O artigo emprega uma análise conceitual e de evidências em vez de apresentar novos dados experimentais. Ele sintetiza descobertas de quatro domínios distintos para construir seu argumento:

Geração de Código Autônoma: Citando estudos sobre o GitHub Copilot e análises formais de modelos que geram programas em C, o artigo destaca que os modelos reproduzem os padrões de insegurança de seus dados de treinamento, com altas taxas de vulnerabilidade (40–62%) que são consistentes entre diferentes modelos treinados em corpora semelhantes.
Aprendizado de Máquina Adversário: A análise baseia-se em taxonomias do NIST e pesquisas que mostram que detectores treinados em distribuições específicas podem ser contornados ou envenenados. Ela enfatiza que um defensor que compartilha a mesma distribuição do código que protege será cego para os mesmos casos de borda (edge cases).
Tolerância a Falhas de Software: O artigo faz referência à falha da programação de N-versões (onde implementações escritas independentemente falharam nos mesmos inputs com mais frequência do que o esperado) para argumentar que modelos de IA treinados em dados semelhantes exibirão modos de falha correlacionados, tornando a redundância ineficaz.
Torneios de Hacking Autônomos: As evidências são extraídas do DARPA Cyber Grand Challenge de 2016 e do 2025 AI Cyber Challenge. Embora esses sistemas tenham demonstrado alto sucesso na descoberta e correção de vulnerabilidades sem intervenção humana, o artigo utiliza esses resultados para ilustrar o fenômeno do "loop fechado", onde as ferramentas que testam o sistema são da mesma natureza do sistema sendo testado.

Principais Contribuições e Argumentos
O artigo articula quatro perigos primários associados a um ciclo de vida de segurança totalmente autônomo e impulsionado por IA:

Falha Correlacionada e o Problema da Monocultura: Em um ciclo de vida tradicional, a independência entre as etapas (construtor, defensor, testador) garante que, se uma falhar, outra detectará o erro. Em uma monocultura de IA, todas as etapas compartilham os mesmos priors e dados de treinamento. Consequentemente, uma vulnerabilidade que o construtor falha em gerar é também uma vulnerabilidade que o defensor falha em detectar e o testador falha em sondar. Isso cria um "conjunto de pontos cegos" ( $\mathcal{B}$ ) que atravessa todo o ciclo de vida sem ser visto.
O Problema do Oráculo: A verificação requer um oráculo independente. Quando a IA gera código e a IA gera testes para esse código, o conjunto de testes herda as mesmas suposições do código. O artigo argumenta que isso é equivalente a "corrigir a própria lição de casa", onde o sistema confirma suas próprias expectativas em vez de verificar a correção contra o mundo real. Além disso, mostra-se que a supervisão humana é ineficaz; estudos indicam que humanos usando assistentes de IA produzem código menos seguro, embora relatem maior confiança nele.
Exploração Adversária da Uniformidade: A segurança é inerentemente adversária. Um pipeline de IA homogêneo oferece um alvo uniforme e previsível. Adversários podem explorar isso ao criar ataques (evasão ou envenenamento) que se transferem por toda a monocultura porque os modelos compartilham gradientes estruturais. Adicionalmente, a natureza de duplo uso das ferramentas autônomas significa que um sistema capaz de encontrar e corrigir vulnerabilidades é inerentemente capaz de explorá-las, sem um "disjuntor" humano para evitar que a ferramenta seja redirecionada contra alvos reais.
O Vácuo de Responsabilidade: A autonomia total cria um "gap de responsabilidade". Se um ciclo de vida autônomo lança uma vulnerabilidade ou causa uma interrupção, não há um princípio a quem responsabilizar. O artigo observa que frameworks de governança como o EU AI Act exigem explicitamente a supervisão humana para sistemas de alto risco, reconhecendo que a responsabilidade não pode ser delegada a uma máquina. Remover o humano remove o mecanismo pelo qual o ciclo de vida é mantido sob padrões.

Resultados e Alegações
O artigo não alega que a IA não tenha utilidade; ele reconhece que sistemas autônomos identificaram com sucesso vulnerabilidades zero-day e corrigiram falhas em ambientes competitivos (ex: 2025 AI Cyber Challenge). No entanto, a alegação central do artigo é que a autonomia total é uma armadilha para o ciclo de vida de segurança. Os resultados dos torneios autônomos demonstram capacidade, mas também revelam fragilidade: quando sistemas autônomos enfrentaram adversários humanos no torneio DEF CON Capture-the-Flag, eles tiveram um desempenho insatisfatório, sugerindo que o raciocínio em velocidade de máquina carece da adaptabilidade necessária para o raciocínio adversarial complexo.

O artigo conclui que o papel humano no ciclo de vida de segurança não é um andaime temporário a ser removido conforme os modelos melhoram, mas sim um requisito estrutural permanente. O humano fornece a independência necessária, o oráculo externo, a capacidade de intervir em velocidade de máquina e o locus de responsabilidade.

Significância
A significância deste trabalho reside no seu desafio à narrativa de "autonomia total" na cibersegurança. Argumenta que a divisão de trabalho entre humanos e máquinas deve ser preservada não para limitar a velocidade, mas para manter as propriedades fundamentais da segurança: independência, verificação e responsabilidade. O artigo propõe uma divisão de trabalho defensável onde:

Os caminhos de construção e teste utilizam fontes independentes (modelos/dados diferentes) para evitar falhas correlacionadas.
Humanos retêm autoridade "on-the-loop" com a capacidade de intervir efetivamente em velocidades de máquina.
A procedência e a supervisão independente (logs de auditoria, red-teaming de terceiros) são mantidas.
As habilidades da força de trabalho são preservadas para evitar o "desaprendizado" (deskilling), garantindo que os humanos permaneçam capazes de exercer sua autoridade.

Em última análise, o artigo afirma que, embora as máquinas possam usar os chapéus de Construtor, Defensor e Quebrador, a "cabeça" que responde por elas deve permanecer humana.