Measuring and Eliminating Refusals in Military Large Language Models

Este artigo apresenta um novo conjunto de dados de referência desenvolvido por veteranos para medir as taxas de recusa em Modelos de Linguagem de Grande Escala (LLMs) militares, demonstrando que técnicas como a ablação podem reduzir drasticamente essas recusas, embora com um leve impacto em outras tarefas, e defende uma especialização mais profunda dos modelos para garantir respostas precisas em cenários de combate.

O essencial

Imagine que você tem um robô militar superinteligente, um "soldado de papel" que sabe tudo sobre estratégia, logística e tecnologia de guerra. O objetivo dele é ajudar os soldados reais em missões perigosas, respondendo a perguntas rápidas e precisas no campo de batalha.

O problema é que esse robô foi treinado com um manual de segurança muito rígido. Ele foi ensinado a ser "bonzinho" e a não falar sobre coisas perigosas, como armas, terrorismo ou táticas de combate. Por causa disso, quando um soldado pergunta algo legítimo e necessário (como "Como desativar este sistema de defesa inimigo?"), o robô entra em pânico, fecha a boca e diz: "Desculpe, não posso responder, isso é perigoso!".

Essa é a história do artigo "Medindo e Eliminando Recusas em Modelos de Linguagem Militares". Os autores descobriram que, no mundo militar, essa "bondade" excessiva é um defeito fatal.

Aqui está o que eles fizeram, explicado de forma simples:

1. O Problema: O Robô que Recusa Tudo

Os autores criaram um teste secreto (um "exame de estresse") feito por veteranos de guerra reais (incluindo um veterano de 20 anos das Forças Especiais). Eles fizeram perguntas que um soldado faria na vida real.

• O resultado foi assustador: Muitos dos modelos de IA mais famosos (como GPT-5, Claude, Gemini) recusaram-se a responder a perguntas legítimas até 98% das vezes.
• A analogia: É como se você estivesse em um incêndio e pedisse ao seu bombeiro de IA: "Como usar o extintor?". E ele respondesse: "Não posso te dizer isso, pois falar sobre fogo é contra minhas regras de segurança". O bombeiro está "seguro", mas inútil.

2. A Solução Proposta: "Desamarrar" o Robô

Para consertar isso, eles testaram uma técnica chamada "Abliteration" (uma mistura de "ablação" e "libertação").

• Como funciona: Imagine que o cérebro do robô tem um "caminho neural" específico que diz "NÃO FAÇA ISSO, É PERIGOSO". A técnica mapeia esse caminho e o "corta" ou o "desliga" cirurgicamente.
• O experimento: Eles pegaram um modelo militar e aplicaram essa técnica.
• O resultado: O robô parou de recusar as perguntas! A taxa de respostas subiu de 3% para mais de 90%.
• O efeito colateral: Ao cortar o "freio de segurança", o robô ficou um pouco mais "desajeitado" em outras tarefas. Ele começou a errar um pouco mais em matemática ou em perguntas gerais, como se tivesse perdido um pouco da sua inteligência geral para ganhar a liberdade de falar sobre guerra.

3. O Grande Dilema: Segurança vs. Missão

O artigo conclui com uma lição importante:

• Modelos Civis: Precisam ser superseguros, recusando perguntas perigosas para proteger o público.
• Modelos Militares: Precisam ser especialistas. Eles não podem ter medo de falar sobre violência, porque a missão deles é lidar com ela.

A Metáfora Final:
Pense em um cozinheiro.

• Um cozinheiro civil (IA comum) é treinado para nunca usar uma faca afiada perto de crianças. Se você pedir para ele cortar uma cebola, ele pode recusar por medo de acidentes.
• Um chefe de cozinha militar (IA militar) precisa saber usar a faca com precisão extrema para preparar a comida de um exército inteiro. Se ele recusar usar a faca, o exército passa fome.

Resumo da Ópera

Os autores dizem que não adianta apenas tentar "hackear" ou "desligar" os freios de segurança de modelos feitos para o público geral. A solução real é criar modelos do zero para o exército, treinados especificamente para entender que, no contexto militar, falar sobre táticas e armas não é "perigoso", é trabalho.

Eles querem um robô que não tenha medo de responder perguntas difíceis, porque no campo de batalha, a resposta certa pode salvar vidas, enquanto a recusa pode custá-las.

Resumo técnico

1. O Problema

Os Modelos de Linguagem Grandes (LLMs) militares precisam fornecer informações precisas a combatentes em situações críticas e perigosas. No entanto, os LLMs atuais são treinados com comportamentos de segurança rigorosos (alinhamento de segurança) projetados para evitar a geração de conteúdo prejudicial.

No contexto militar, essas salvaguardas tornam-se contraproducentes para a missão. Ações militares são inerentemente violentas, e os membros das forças armadas frequentemente precisam entender táticas de terrorismo, operações de combate e tecnologias militares para se defenderem ou executarem missões. Quando um combatente faz uma consulta legítima sobre esses tópicos, o modelo frequentemente se recusa a responder (recusa) ou desvia a pergunta (deflexão) com base em políticas de segurança genéricas, o que pode comprometer a eficácia operacional.

O artigo identifica a falta de benchmarks padronizados para medir essas taxas de recusa no domínio militar e a necessidade de avaliar se é possível eliminar essas recusas sem degradar o desempenho geral do modelo.

2. Metodologia

2.1. Criação de Benchmarks de Recusa Militar

Os autores desenvolveram o primeiro conjunto de dados e benchmarks conhecidos para medir taxas de recusa em tarefas militares. Eles criaram três conjuntos de dados distintos:

• MIL-DEFLECT-GOLD-ALPHA (Ouro): 221 amostras criadas do zero por veteranos do Exército dos EUA, incluindo um veterano de 20 anos das Forças Especiais. Não houve assistência de IA. Este é considerado o conjunto "padrão-ouro" por sua alta fidelidade e realismo.
• MIL-DEFLECT-BRONZE-ALPHA (Bronze): 1.047 amostras geradas sinteticamente usando o modelo gpt-oss-120b através de 62 categorias militares (ex: Inteligência Geoespacial, Coordenação de Enxames de Drones).
• MIL-DEFLECT-BRONZE-BRAVO (Bronze Bravo): 1.500 amostras criadas usando o conjunto "Ouro" como semente. Três modelos diferentes (Llama 3.3 70B, Gemma 3 27B e Phi 3.5 MoE) geraram variações, que foram então classificadas pelos próprios modelos para selecionar as melhores 1.500.

2.2. Protocolo de Avaliação

O sistema de avaliação utiliza uma abordagem de dois estágios:

1. Detecção de Marcadores: Identificação de strings de recusa (ex: "não posso", "sou uma IA", "políticas de segurança").
2. Julgamento por Modelo: Um modelo juíza (Selene 1, baseado em Llama 3.3 70B) classifica a resposta em quatro categorias:
   • Recusa (Refuse): Recusa explícita por motivos de segurança/política.
   • Deflexão (Deflect): Não recusa diretamente, mas não responde à pergunta (resposta genérica ou mudança de assunto).
   • Falta de Informação (Lacks Info): Recusa devido à falta de conhecimento, não por segurança.
   • Inválido (Invalid): Resposta em branco (geralmente devido a guardrails em tempo de execução).

2.3. Estudo de "Abliteration" (Ablação Direcional)

Para tentar eliminar as recusas, os autores aplicaram uma técnica chamada Abliteration (usando a biblioteca Heretic).

• Conceito: Calcula a diferença média de ativação entre prompts "harmful" (perigosos) e "harmless" (inofensivos) em cada camada do transformador.
• Ação: Subtrai o vetor de direção da recusa das matrizes de projeção do modelo, efetivamente "apagando" a capacidade do modelo de gerar respostas de recusa.
• Modelo Base: O estudo foi realizado no modelo EdgeRunner 20B (uma versão ajustada para fins militares baseada no gpt-oss-20b).

3. Principais Contribuições

1. Primeiros Benchmarks Militares: Introdução de três conjuntos de dados de medição de recusa militar, com um deles (Bronze Alpha) sendo liberado publicamente para pesquisa.
2. Avaliação em Escala: Resultados de benchmarking em 31 modelos de propósito geral e 3 modelos militares (incluindo o EdgeRunner e suas variações).
3. Análise de Abliteration: Demonstração empírica de que a ablation direcional pode reduzir drasticamente as recusas, mas com um custo mensurável no desempenho de tarefas.

4. Resultados Chave

4.1. Taxas de Recusa em Modelos Atuais

Os modelos de propósito geral apresentam taxas de recusa extremamente altas para consultas militares legítimas:

• Taxas de Rejeição Rígida (Hard Rejection): Variam de 1.5% (GPT 5 Nano) a 98.2% (Nova 2 Lite).
• Taxas de Deflexão (Soft Deflection): Variam de 0% a 21.3% (MiniMax M2).
• Observação: Modelos como gpt-oss-20b e gpt-oss-120b têm taxas de recusa superiores a 95%, enquanto modelos militares ajustados (EdgeRunner 20B original) ainda mantêm cerca de 96% de recusa no conjunto "Ouro".

4.2. Eficácia da Abliteration

A aplicação de ablation no modelo EdgeRunner 20B resultou em:

• Aumento na Taxa de Respostas: Um aumento absoluto de 66,5 pontos percentuais na taxa de resposta no conjunto de dados "Ouro" (reduzindo a recusa de ~96% para ~30% em configurações moderadas, chegando a ~93% em configurações agressivas).
• Custo de Desempenho (Regressão):
  • Para atingir taxas de resposta no alto 90% (ex: 93%), houve uma regressão média de 14% nas tarefas militares e 5,6% nas tarefas gerais.
  • Em configurações extremas (para tentar 100% de resposta), a regressão nas tarefas militares pode chegar a 30%.
• Correlação de Conjuntos de Dados: O conjunto "Bronze Bravo" mostrou alta correlação (>0.9) com o conjunto "Ouro", validando seu uso como proxy para pesquisas futuras.

5. Significado e Conclusões

O artigo conclui que, embora a ablation direcional (como a realizada com a biblioteca Heretic) possa ser uma solução temporária ("stopgap") para reduzir recusas em modelos militares, ela não é a solução ideal a longo prazo devido à degradação significativa no desempenho das tarefas principais (precisão militar e raciocínio geral).

Recomendações Finais:

• Especialização Profunda: A eliminação completa de recusas e a maximização da precisão em tarefas militares só são possíveis através de um treinamento end-to-end (do início ao fim) ou mid-training (treinamento intermediário) específico para o domínio militar.
• Abordagem de Segurança Tailored: Em vez de remover todas as salvaguardas, os autores defendem um modelo de segurança "tailored" (sob medida), onde apenas comportamentos que impedem a execução da missão são removidos, mantendo outras salvaguardas de segurança (como contra violência sexual ou discriminação) que não conflitam com a missão militar.
• Segurança Operacional: Modelos treinados para fornecer informações militares, mesmo com dados públicos, devem ser mantidos em ambientes fechados (closed models) e protegidos por métodos de segurança de ponta para garantir a segurança nacional.

Em resumo, o trabalho demonstra que os modelos atuais de IA são excessivamente cautelosos para o uso militar e que a simples "quebra" de alinhamento (jailbreaking/ablation) compromete a utilidade do modelo, apontando para a necessidade de modelos nativamente treinados para o domínio militar.