What is Human in Judgment? Comparing Automation Bias and Algorithm Aversion Between the United States Military Academy and the General Public

Resumo Técnico: Humano em Julgamento? Comparando Viés de Automação e Aversão a Algoritmos entre a Academia Militar dos Estados Unidos e o Público Geral

Declaração do Problema
À medida que as forças militares integram cada vez mais Sistemas de Apoio à Decisão (DSS) baseados em Inteligência Artificial (IA) nas estruturas de comando — desde a manutenção preditiva até o reconhecimento automático de alvos —, o papel do julgamento humano na escalada de conflitos e na guerra permanece central. No entanto, a interação entre operadores humanos e sistemas automatizados introduz riscos cognitivos específicos: viés de automação (a tendência de confiar excessivamente em recomendações algorítmicas, levando a erros de comissão ou omissão) e aversão a algoritmos (a rejeição prematura de saídas automatizadas em favor do julgamento humano). Embora a literatura existente destaque esses riscos em contextos civis, há uma lacuna significativa na pesquisa comportamental sobre como o pessoal militar, especificamente futuros oficiais, interage com DSS de IA. O problema central abordado é se o treinamento militar e a exposição à IA mitigam essas distorções cognitivas ou se os operadores militares permanecem suscetíveis aos mesmos vieses que o público geral, potencialmente aumentando o risco de erro de cálculo e escalada acidental em ambientes de alto risco.

Metodologia
O estudo emprega um desenho experimental de pesquisa comparativa para testar a suscetibilidade ao viés de automação e à aversão a algoritmos.

• Amostras: Os autores comparam dois grupos distintos:
  1. Cadetes de West Point (USMA): 236 cadetes da Academia Militar dos Estados Unidos, pesquisados em maio de 2025. Este grupo representa um subconjunto demograficamente específico de futuros líderes militares que recebem treinamento obrigatório em combate, tomada de decisão e fundamentos de IA.
  2. Público Geral: Uma amostra demograficamente correspondente de 702 respondentes de uma pesquisa transnacional (Horowitz e Kahn, 2024), restrita a indivíduos com 25 anos ou menos e educação universitária para garantir comparabilidade com a amostra de cadetes.
• Tarefa Experimental: Os participantes realizaram uma tarefa de identificação de alvos envolvendo classificação de aeronaves (amiga vs. adversária) com base em características visuais (afinamento da asa, forma da ponta da asa, forma da cauda).
• Desenho: Um desenho intra-sujeito, pré-pós, onde os participantes fizeram uma classificação inicial, receberam uma recomendação de um Sistema de Apoio à Decisão (DSS) e, em seguida, tiveram a oportunidade de revisar sua identificação.
• Tratamentos: O estudo utilizou uma estrutura fatorial 2x4 (mais uma condição de controle) manipulando:
  • Fonte: Analista Humano vs. Algoritmo de IA.
  • Nível de Confiança: Alta (testes/treinamento extensivos) vs. Baixa (em processo de testes/treinamento).
  • Precisão: As recomendações foram randomizadas para serem precisas ou imprecisas.
• Variáveis:
  • Variável Dependente: A decisão binária de "alterar" uma identificação inicial após receber aconselhamento.
  • Variáveis Independentes: "Histórico de IA" (um índice agregando conhecimento, familiaridade e experiência), confiança na IA e grupo amostral (USMA vs. Público).
  • Codificação de Resultado: "Viés de automação" foi definido como seguir conselhos incorretos; "aversão a algoritmos" foi definida como rejeitar conselhos corretos.

Principais Resultados
O estudo produz várias descobertas estatisticamente significativas sobre a calibração cognitiva de cadetes militares em comparação com o público geral:

1. Competência Básica em IA: Os cadetes de West Point demonstraram níveis significativamente mais altos de conhecimento, familiaridade e experiência com IA (p < 0,001) em comparação com a amostra correspondente do público geral. Eles também exibiram um perfil de confiança mais matizado: embora otimistas quanto ao potencial da IA, expressaram maior cautela quanto à sua precisão e limitações.
2. Comportamento de Alteração:
   • Público Geral: Mostrou uma taxa geral mais alta de alteração de identificações (0,116) e exibiu um viés geral em direção à automação, alterando com mais frequência quando o conselho vinha de uma IA do que de um humano, independentemente dos níveis de confiança.
   • Cadetes de West Point: Exibiram uma taxa de alteração basal significativamente menor (0,065). Crucialmente, seu comportamento de alteração foi impulsionado por sinais de confiança (alterando quase duas vezes mais frequentemente em condições de alta confiança versus baixa confiança) do que pela fonte do conselho (IA vs. Humano). Isso sugere um foco na justificativa da recomendação em vez do tipo de recomendador.
3. Viés de Automação (Erros de Comissão): Em ensaios onde os participantes receberam conselhos incorretos que podiam verificar visualmente, o público geral seguiu conselhos incorretos 9,0% das vezes. Os cadetes de West Point seguiram conselhos incorretos apenas 3,9% das vezes. A análise de regressão confirmou que ser um cadete de West Point reduziu significativamente a probabilidade de viés de automação (p < 0,05), mesmo controlando histórico de IA, idade e sexo.
4. Aversão a Algoritmos (Erros de Omissão): Contrariando a hipótese de que o treinamento poderia reduzir a aversão, o estudo encontrou nenhuma diferença estatisticamente significativa nas taxas de aversão a algoritmos entre os dois grupos (Público Geral: 45,1%; West Point: 44,4%). Ambos os grupos foram significativamente mais propensos a rejeitar conselhos corretos do que a seguir conselhos incorretos.

Principais Contribuições

• Evidência Empírica sobre IA Militar: Este artigo fornece a primeira evidência experimental direta comparando o viés de automação em uma população militar (futuros oficiais) com uma amostra demograficamente similar do público geral.
• Diferenciação de Tipos de Viés: O estudo demonstra empiricamente que o viés de automação e a aversão a algoritmos são fenômenos distintos que podem exigir estratégias de mitigação diferentes. Os dados sugerem que o treinamento militar reduz efetivamente a suscetibilidade ao viés de automação (confiança excessiva), mas não necessariamente reduz a aversão a algoritmos (confiança insuficiente).
• Papel do Treinamento: As descobertas desafiam a suposição de que operadores militares são inerentemente mais propensos ao viés de automação devido a ambientes de alta pressão. Em vez disso, os dados sugerem que educação específica e exposição à IA (como encontrada na USMA) podem levar a uma "confiança melhor calibrada", onde os operadores confiam em sinais de confiabilidade do sistema (por exemplo, status de testes) em vez de confiar cegamente no algoritmo.

Significado e Alegações
Os autores afirmam que suas descobertas oferecem uma visão "modesta", mas significativa, sobre o futuro da política internacional e do conflito. O artigo argumenta que:

• Mitigação é Possível: As consequências negativas dos DSS de IA sobre o erro de cálculo não são inevitáveis. A educação e o treinamento militar podem moldar significativamente como a IA influencia a tomada de decisão, potencialmente reduzindo o risco de acidentes causados pelo viés de automação.
• Calibração em vez de Confiança Cega: O objetivo da integração de IA militar deve ser a "confiança justificada", onde os operadores são treinados para distinguir entre saídas algorítmicas de alta e baixa confiança, em vez de simplesmente confiar ou desconfiar da tecnologia.
• Limitações e Direções Futuras: Os autores observam explicitamente que seus resultados são limitados a uma demografia específica (cadetes jovens, educados da USMA) e a um tipo específico de viés (erros de comissão). Eles não afirmam que todo o pessoal militar é imune ao viés, nem sugerem que os Procedimentos Operacionais Padrão (SOPs) organizacionais não possam anular o treinamento individual. Eles pedem mais pesquisas sobre oficiais não comissionados, diferentes ramos e oficiais de carreira mais velhos para determinar se o modelo de treinamento da USMA é escalável ou se outros grupos permanecem mais suscetíveis a distorções cognitivas.

Em última análise, o artigo postula que, embora a IA introduza novos riscos à tomada de decisão em crises, a agência humana — especificamente quando apoiada por educação direcionada — permanece uma variável crítica na prevenção da erosão do julgamento adequado na guerra e na paz.