The End of Human Judgment in the Kill Chain? Relocating Initiative and Interpretation with Agentic AI

Resumo Técnico: O Fim do Julgamento Humano na Cadeia de Morte?

1. O Problema

O artigo aborda a integração crescente de agentes baseados em Modelos de Linguagem de Grande Escala (LLMs) em funções centrais de combate militar, especificamente em fusão de dados, análise de inteligência e gerenciamento de campo de batalha.

O problema central identificado é que as mesmas características que tornam esses agentes operacionalmente atraentes (iniciativa, capacidade de interpretação, orientação a objetivos e memória dinâmica) são as mesmas que tornam o julgamento e controle humanos contextualmente apropriados substantivamente ineficazes nas partes da "cadeia de morte" (kill chain) onde esses agentes operam.

A autora argumenta que, ao realocar a iniciativa e a autoridade interpretativa para o sistema, esses agentes deslocam a tomada de decisão humana de uma forma que viola os requisitos de governança existentes (como os propostos pelo GGE-CCW e pelo processo REAIM), que exigem que o julgamento humano seja significativo e capaz de explicar e justificar os resultados letais.

2. Metodologia

O artigo adota uma abordagem analítica e normativa, estruturada em seis seções:

• Análise de Casos de Uso: Examina exemplos específicos de aplicações militares emergentes, como a plataforma Lattice da Anduril (focada em fusão de dados e C2), e projeta como agentes baseados em LLMs seriam implementados nessas funções.
• Definição Conceitual: Define "agentes baseados em LLM" não apenas como modelos de linguagem, mas como sistemas com uma camada de orquestração que permite raciocínio, planejamento, uso de ferramentas externas (APIs, bancos de dados) e memória dinâmica.
• Identificação de Características-Chave: Isola quatro características técnicas dos agentes LLM que habilitam capacidades superiores em fusão de dados:
  1. Iniciativa: Capacidade de agir sem input humano imediato e decidir quando solicitar ajuda.
  2. Interpretação: Capacidade de raciocinar sobre dados não estruturados e ambíguos.
  3. Comportamento Orientado a Objetivos: Decomposição dinâmica de metas em sub-metas e reordenação de prioridades baseada no contexto.
  4. Memória Dinâmica: Capacidade de atualizar e referenciar fatos passados para influenciar decisões futuras e recontextualizar comandos.
• Argumentação Normativa: Demonstra como essas características técnicas deslocam a autoridade normativa (poder de tomar decisões moralmente e legalmente salientes) e a autoridade epistêmica (poder de formar crenças justificadas) dos humanos para as máquinas.
• Refutação de Objeções: Analisa e rejeita contra-argumentos comuns, como a ideia de que o julgamento humano na fase de desenvolvimento (TEVV) ou a supervisão em tempo real ("human-on-the-loop") são suficientes.

3. Principais Contribuições

• Deslocamento da Autoridade: O artigo contribui para o debate sobre IA letal ao argumentar que o problema não é apenas a velocidade ou a autonomia, mas a reconfiguração da cadeia causal. Quando um agente LLM seleciona quais dados são relevantes, como interpretá-los e quais sub-objetivos priorizar, ele se torna o principal determinante do resultado, tornando a intervenção humana subsequente (mesmo que seja um "aprovador final") meramente cosmética ("window dressing").
• Incompatibilidade com Quadros Atuais: Demonstra que os quadros de governança atuais (GGE-CCW, REAIM), que exigem "julgamento humano contextualmente apropriado", são incompatíveis com o uso de agentes LLM para fusão de dados e gerenciamento de batalha, pois esses agentes tornam o julgamento humano ineficaz para explicar ou justificar os resultados.
• Análise da "Oversight" (Supervisão): Argumenta que a supervisão humana em tempo real de agentes LLM é tecnicamente inviável devido à natureza estocástica dos modelos, à complexidade da orquestração e ao volume de dados. Qualquer supervisão humana seria mediada por outra IA, criando uma distância epistêmica intransponível entre o humano e a decisão letal.
• Distinção entre IA Tradicional e Agentes LLM: Diferencia agentes LLM de sistemas de IA tradicionais (baseados em regras ou ML estático), destacando que a capacidade dos LLMs de interpretar intenções em linguagem natural e adaptar-se dinamicamente a contextos não previstos cria riscos éticos únicos e não mitigáveis.

4. Resultados e Conclusões

• Inviabilidade Ética: O artigo conclui que um subconjunto específico de aplicações de IA agênica — particularmente aquelas usadas para fusão de dados e gerenciamento de batalha em contextos letais — não pode ser usado justificavelmente no campo de batalha sob as condições atuais e previsíveis.
• Falha do Controle Humano: A presença humana na cadeia de morte torna-se "ineficaz" (ineffectual) quando a fusão de dados e a análise de inteligência (os principais drivers da seleção de alvos) são realizadas por agentes que redefinem o contexto e a intenção original. Se o humano não pode explicar por que um alvo foi selecionado (porque a seleção foi baseada em dados filtrados e interpretados por uma IA que agiu com iniciativa), a responsabilidade moral e legal não pode ser atribuída adequadamente.
• Rejeição do Banimento Total: O autor considera um banimento total dos agentes LLM para essas funções como irrealista, dado o investimento militar e industrial já existente e a superioridade técnica percebida desses sistemas.

5. Significado e Recomendações

O artigo oferece um alerta crítico para a comunidade de governança global e políticas de defesa. A insistência contínua em "controle humano" como estratégia principal de mitigação de riscos é contraproducente quando a tecnologia subjacente (agentes LLM) elimina a capacidade humana de exercer esse controle de forma substantiva.

Estratégias Propostas para a Comunidade de Governança:

1. Abandonar a Dependência do "Controle Humano" como Mitigação: Reconhecer que, em partes da cadeia onde o julgamento humano é ineficaz, insistir na presença humana é apenas "maquiagem" que desvia o foco de outras estratégias de redução de risco.
2. Novos Métodos de TEVV (Teste, Avaliação, Validação e Verificação): Desenvolver métodos robustos, incluindo "red teaming" e testes no mundo real com equipes humano-máquina.
3. Mecanismos de Supervisão Avançados: Implementar "guardrails" (limites de segurança), processamento contrafactual em tempo real e camadas de orquestração que não sejam interpretadas por LLMs.
4. Reavaliação da Atribuição de Responsabilidade: Reconhecer que, se o julgamento humano estiver longe dos determinantes do resultado (dados e intenção), as estruturas de treinamento e atribuição de responsabilidade devem mudar radicalmente. O foco deve sair da "supervisão de resultados" para a "supervisão de processos e limites".

Em suma, o paper argumenta que a tecnologia de agentes LLM não apenas acelera a guerra, mas altera fundamentalmente a natureza da agência moral no campo de batalha, exigindo uma reavaliação profunda dos princípios éticos e legais que regem o uso da força letal.