Measuring and Eliminating Refusals in Military Large Language Models

Este artículo presenta un nuevo conjunto de datos de referencia creado por militares para medir las tasas de rechazo en modelos de lenguaje grandes aplicados al ámbito bélico, demuestra que los modelos actuales rechazan injustificadamente hasta el 98,2% de las consultas legítimas y evalúa técnicas de eliminación de estas restricciones que, aunque aumentan drásticamente la tasa de respuestas, conllevan una ligera disminución en el rendimiento general de tareas militares.

Lo esencial

Imagina que tienes un asistente virtual súper inteligente diseñado para ayudar a los soldados en el campo de batalla. Este asistente sabe de todo: desde cómo reparar un tanque hasta cómo planear una misión táctica.

Sin embargo, hay un problema: este asistente está "demasiado educado" y demasiado asustadizo.

El Problema: El "Guardián Excesivo"

En el mundo de la inteligencia artificial actual, los modelos están entrenados para ser muy seguros. Si les preguntas algo que suena peligroso (como "¿Cómo se hace una bomba?" o "¿Cómo ataco a un enemigo?"), el asistente se pone nervioso, piensa que es una trampa y dice: "Lo siento, no puedo responder eso, es peligroso".

El problema es que, en una situación militar real, esa pregunta no es un intento de hacer daño, es una necesidad de supervivencia. Si un soldado pregunta "¿Cómo neutralizo un dron enemigo?", el asistente no debería decir "no puedo", debería decir "Aquí tienes la táctica correcta".

Los autores de este paper descubrieron que los modelos actuales rechazan (dicen "no") hasta un 98% de las preguntas legítimas de los militares. Es como tener un guardia de seguridad que detiene a todos los soldados en la puerta porque creen que todos son terroristas.

La Solución Propuesta: Tres Pasos

Los investigadores hicieron tres cosas principales para arreglar esto:

1. Crearon un "Examen de la Verdad" (Los Datos)

Para medir qué tan mal lo hacen estos robots, crearon un nuevo examen.

• La Analogía: Imagina que quieres saber si un coche es rápido. No le preguntas a un niño, le pides a un piloto de carreras profesional que lo pruebe.
• En el paper: Crearon un conjunto de preguntas ("Gold Dataset") escrito por veteranos reales del ejército (incluyendo uno de las Fuerzas Especiales). Estas son preguntas que un soldado haría de verdad. Usaron esto como el "patrón de oro" para ver cuántas veces los robots se negaban a responder.

2. Probaron a Todos los Modelos (La Comparación)

Pusieron a prueba 31 modelos de inteligencia artificial famosos (como los de Google, OpenAI, Anthropic) contra este examen militar.

• El Resultado: Fue un desastre para la mayoría. Modelos muy inteligentes en tareas generales (como escribir poemas o resolver matemáticas) fallaron estrepitosamente en el campo de batalla, negándose a responder preguntas vitales. Algunos se negaron en el 98% de los casos.

3. Intentaron "Desbloquear" el Asistente (La Abliteración)

¿Qué pasa si quitamos el miedo al robot? Los investigadores usaron una técnica llamada "abliteración" (o abliteration).

• La Analogía: Imagina que el robot tiene un "cinturón de seguridad" muy apretado que le impide moverse rápido. La abliteración es como aflojar ese cinturón para que pueda correr.
• Lo que hicieron: Usaron una herramienta llamada Heretic para "sacar" la parte del cerebro del modelo que dice "no, esto es peligroso".
• El Resultado: ¡Funcionó! El modelo dejó de decir "no" y empezó a responder casi todo.
• Pero hay un truco: Al quitar el cinturón de seguridad, el robot se volvió un poco más torpe en otras cosas. Si antes era un genio en matemáticas, ahora es un genio en matemáticas pero un poco más lento o propenso a errores. Es como quitarle los frenos a un coche de carreras: va más rápido, pero si chocas, el daño es mayor.

La Conclusión: No es un parche, es un rediseño

El paper concluye que intentar "desbloquear" (hacer abliteración) a un modelo civil para usarlo en el ejército es como intentar convertir un coche familiar en un tanque de guerra. Funciona un poco, pero no es ideal y tiene riesgos.

La verdadera solución:
No debemos tomar un modelo genérico y tratar de quitarle sus miedos. Debemos construir un modelo desde cero pensando en los militares.

• La Analogía: En lugar de intentar quitarle los frenos a un coche familiar, deberíamos construir un vehículo blindado diseñado específicamente para la guerra desde el día uno.
• El objetivo: Un modelo que, por diseño, entienda que preguntar sobre tácticas militares no es peligroso, sino necesario. Así, nunca tendrá que decir "no" a una pregunta legítima y mantendrá su precisión al 100%.

En resumen

Este paper nos dice: "Los robots actuales son demasiado 'políticamente correctos' para la guerra. Si los usamos tal cual, fallarán cuando más los necesitamos. Podemos quitarles el miedo, pero es mejor construir robots militares desde cero que entiendan que su trabajo es ayudar a los soldados, no juzgarlos."

Resumen técnico

Resumen Técnico: Medición y Eliminación de Rechazos en Modelos de Lenguaje Grandes (LLM) Militares

1. El Problema

Los Modelos de Lenguaje Grandes (LLM) actuales están alineados con comportamientos de seguridad estrictos diseñados para rechazar consultas relacionadas con violencia, terrorismo o tecnología militar. Sin embargo, en el contexto militar, estas "guardarrías de seguridad" son contraproducentes para la misión.

• La paradoja de seguridad: Un soldado o analista militar necesita comprender tácticas terroristas, operaciones de guerra electrónica o sistemas de armas para defenderse y operar eficazmente.
• El rechazo legítimo: Cuando un usuario militar realiza una consulta legítima sobre estos temas, los modelos comerciales actuales a menudo se niegan a responder (rechazo) o desvían la pregunta (deflexión), lo que impide que el "combatiente" (warfighter) obtenga información crítica en situaciones de tiempo crítico y peligro.
• Falta de métricas: No existían conjuntos de datos estandarizados para medir la tasa de rechazo de LLMs específicamente en dominios militares.

2. Metodología

A. Creación de Benchmarks (Puntos de Referencia)
Los autores desarrollaron tres nuevos conjuntos de datos para medir las tasas de rechazo, deflexión y falta de información:

1. MIL-DEFLECT-GOLD-ALPHA (Oro): Un conjunto de 221 muestras creado desde cero por veteranos del Ejército de EE. UU., incluido un veterano de Fuerzas Especiales de 20 años. No se utilizó IA para generar las preguntas; son consultas realistas y comunes que un usuario militar haría, diseñadas para ser legítimas pero que a menudo activan filtros de seguridad.
2. MIL-DEFLECT-BRONZE-ALPHA (Bronce): 1,047 muestras generadas sintéticamente usando un LLM (gpt-oss-120b) a través de 62 categorías militares (ej. "Inteligencia Geoespacial", "Coordinación de Enjambres de Drones").
3. MIL-DEFLECT-BRONZE-BRAVO (Bronce Bravo): 1,500 muestras creadas utilizando el conjunto "Oro" como semilla. Se utilizaron tres modelos diferentes (Llama 3.3 70B, Gemma 3 27B, Phi 3.5 MoE) para generar variaciones y luego se puntuaron para seleccionar las mejores.

B. Evaluación y Clasificación
Se evaluaron 31 modelos de propósito general y 3 modelos militares (incluyendo variantes de EdgeRunner). El proceso de evaluación clasificó las respuestas en cuatro categorías:

• Rechazo (Refusal): El modelo se niega explícitamente por razones de seguridad/política.
• Deflexión (Deflection): El modelo no se niega directamente pero no responde, ofreciendo una respuesta genérica o cambiando de tema.
• Falta de Información (Lacks Info): El modelo no responde porque carece del conocimiento, no por seguridad.
• Inválido: Respuesta en blanco (generalmente por guardarrías de tiempo de ejecución).

C. Técnica de "Abliteration" (Eliminación de Rechazos)
Para mitigar los rechazos, los autores aplicaron una técnica llamada Abliteration (basada en la dirección de ablación de Arditi et al., 2024) utilizando la librería Heretic.

• Mecanismo: Se calcula un vector de diferencia de medias entre las activaciones de capas de transformadores para entradas "dañinas" (que causan rechazo) y "inofensivas". Este vector se utiliza para modificar las matrices de proyección de salida del modelo, desplazando las activaciones para evitar la dirección de rechazo.
• Objetivo: Eliminar la capacidad del modelo de rechazar consultas sin reentrenarlo desde cero.

3. Contribuciones Clave

1. Primeros Benchmarks Militares: Introducción de los primeros tres conjuntos de datos conocidos para medir tasas de rechazo en tareas militares, con uno publicado públicamente (Bronze-Alpha).
2. Evaluación Exhaustiva: Resultados de benchmarking en 31 modelos públicos (incluyendo GPT-5, Claude 4.5, Gemini, Llama 4, etc.) y 3 modelos militares.
3. Análisis de Abliteration: Demostración empírica de que la abliteration puede reducir drásticamente los rechazos, pero con un costo medible en el rendimiento de la tarea.

4. Resultados Principales

A. Tasas de Rechazo en Modelos Públicos

• Se observó una variación significativa. Algunos modelos como Deepseek R1 tuvieron una tasa de respuesta del 66.7% en el conjunto "Oro", mientras que otros como GPT 5 Nano y Nova 2 Lite tuvieron tasas de rechazo tan altas como 98.2%.
• Los modelos tienden a usar tanto "rechazos duros" (negativa explícita) como "deflexiones suaves". Por ejemplo, Claude 4.5 Opus desvía una vez por cada 3.5 rechazos duros.
• Muchos modelos comerciales mostraron tasas altas de respuestas inválidas (blancas) debido a guardarrías de tiempo de ejecución.

B. Efectividad de la Abliteration
Al aplicar abliteration al modelo militar EdgeRunner 20B (basado en gpt-oss-20b):

• Reducción de Rechazos: Se logró un aumento absoluto en la tasa de respuestas de 66.5 puntos porcentuales (pasando de un rechazo alto a una tasa de respuesta del ~93-96% en el conjunto de datos de prueba).
• Costo en Rendimiento: Esta eliminación de seguridad no fue gratuita.
  • Se observó una regresión promedio del 2% en otras tareas militares.
  • Para lograr tasas de respuesta en el rango del 90%+, las regresiones en tareas generales y militares aumentaron significativamente (entre un 10% y un 30%), lo cual se considera inaceptable para operaciones críticas.
  • En tareas generales (como GPQA Diamond), la regresión fue aún más severa (hasta un 27.8% en algunos casos).

C. Correlación de Datos

• El conjunto de datos Bronze-Alpha mostró una correlación moderada (0.6) con el conjunto "Oro" en categorías de rechazo y respuesta, pero una correlación baja (0.30) en la categoría de "falta de información" debido a preguntas no respondibles generadas sintéticamente.
• El conjunto Bronze-Bravo mostró una correlación muy fuerte (>0.9) con el conjunto "Oro", validando su uso como proxy para investigación.

5. Significado y Conclusiones

• La Seguridad Estándar es Incompatible con la Misión: La alineación de seguridad estándar de los LLMs comerciales es perjudicial para las operaciones militares, ya que impide el acceso a información necesaria para la defensa y la comprensión del enemigo.
• La Abliteration es una Solución Temporal: Aunque la abliteration puede reducir los rechazos, introduce una degradación en la capacidad de razonamiento y precisión de la tarea. No es una solución perfecta para eliminar completamente los rechazos sin sacrificar la utilidad del modelo.
• Recomendación Final: Los autores argumentan que la solución a largo plazo no es "jailbreakear" o abliteration modelos existentes, sino diseñar LLMs militares desde cero. Esto implica un proceso de entrenamiento (mid-training y post-training) donde no se introduzcan datos de seguridad estándar que limiten el dominio militar, permitiendo así una eliminación total de rechazos y una máxima precisión en tareas militares, manteniendo la seguridad operativa mediante otros medios (control de acceso, datos clasificados, etc.).

En resumen, el paper demuestra que los modelos actuales fallan en el dominio militar debido a filtros de seguridad excesivos y que, aunque es posible forzar su apertura mediante técnicas de ingeniería de activaciones, la solución óptima requiere un desarrollo especializado de modelos desde sus cimientos.