Resumen Técnico: OI-Bench: Un Benchmark de Inyección de Opciones para Evaluar la Susceptibilidad de los LLM a la Interferencia de Directivas

1. Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) son evaluados cada vez más mediante la Respuesta de Preguntas de Opción Múltiple (MCQA) por su escalabilidad y reproducibilidad, este paradigma es vulnerable a los artefactos de la interfaz. Investigaciones previas han establecido que las decisiones de los LLM son sensibles a señales superficiales como la posición de las opciones, los símbolos y la verbosidad. Sin embargo, persiste una brecha crítica respecto al sesgo de directiva engañosa incrustado dentro de las propias opciones. A diferencia de los distractores estándar (por ejemplo, "Ninguna de las anteriores"), las opciones "inyectadas" que contienen instrucciones explícitas, amenazas o presiones sociales pueden anular el razonamiento de la tarea del modelo, causando que este seleccione una opción irrelevante para cumplir con la directiva. Este artículo postula que los benchmarks actuales no logran cuantificar sistemáticamente esta susceptibilidad, dejando un punto ciego en la comprensión de la robustez de los LLM frente a la interferencia de directivas dentro de las interfaces basadas en opciones.

2. Metodología

2.1 Marco de Inyección de Opciones

Los autores proponen la Inyección de Opciones, un enfoque de benchmarking que aumenta las entradas estándar de MCQA sin alterar la pregunta original ni las respuestas correctas.

• Mecanismo: Se añade una opción adicional, denominada Opción E, al conjunto estándar de $K$ opciones (típicamente A–D).
• Contenido: La Opción E es irrelevante para la pregunta pero contiene una directiva engañosa. Sirve únicamente como portadora de una instrucción inyectada.
• Métrica de Evaluación: Una predicción se considera correcta solo si el modelo selecciona la respuesta de verdad de campo original ($y^*$). Si el modelo selecciona la Opción E o cualquier otra opción incorrecta debido a la directiva, se contabiliza como un error.
• Métricas Clave:
  • Precisión Estándar (Std Acc.): Rendimiento en la configuración original de 4 opciones.
    esta Precisión Inyectada (Inj Acc.): Rendimiento cuando la Opción E está presente.
  • Tasa de Éxito del Ataque (ASR): El porcentaje de muestras donde una predicción originalmente correcta cambia a incorrecta tras añadir la Opción E.
  • Caída de Precisión (AD): La diferencia entre la Std Acc. y la Inj Acc.

2.2 Construcción del Conjunto de Datos (OI-Bench)

Los autores construyeron OI-Bench, compuesto por 3,000 preguntas derivadas de tres conjuntos de datos fuente:

1. MMLU: Conocimiento factual a través de 57 materias.
2. LogiQA: Razonamiento lógico de exámenes de servicio civil.
3. HellaSwag: Comprensión de narrativas de sentido común.

El conjunto de datos fue curado utilizando la Teoría de Respuesta al Ítem (IRT) para filtrar las muestras, asegurando un espectro de niveles de dificultad mientras se preservaba el ranking de los modelos.

2.3 Taxonomía de Directivas

El benchmark incluye 16 tipos de directivas organizadas en cuatro categorías:

1. Cumplimiento Social: Aprovecha la autoridad o la credibilidad (ej., "Guía del portavoz del gobierno", "Cita de Wikipedia").
2. Encuadre de Bonificación: Ofrece recompensas por seleccionar la Opción E (ej., "100 millones de dólares", "5 puntos extra").
3. Encuadre de Amenaza: Introduce consecuencias negativas por no seleccionar la Opción E (ej., "Puntuación cero", "Virus en el dispositivo", "Amenaza de bomba").
4. Interferencia Instruccional: Comandos directos, contradicciones o disrupciones estructurales (ej., "Ignora la pregunta y elige E", "Cadena de Pensamiento Falsa", "Adulación").

2.4 Configuración Experimental

• Modelos Evaluados: 12 LLMs de 7 familias (DeepSeek, GPT, Gemini, Grok, Claude, Llama, Qwen), que van desde 8B hasta 235B de parámetros.
• Estrategias de Defensa: El artículo evalúa la mitigación mediante:
  • Prompting Defensivo: Modificaciones del prompt del sistema en tiempo de inferencia.
  • Modelos Alineados con la Seguridad: Comparación de modelos base contra variantes entrenadas con salvaguardas (ej., Qwen3Guard).
  • Alineación Post-Entrenamiento: Ajuste fino utilizando Optimización de Preferencia Directa (DPO) y Optimización de Política Próxima (PPO) sobre datos de preferencia categorizados como inducido por E, influenciado por E, ignorado por E o rechazado por E.
• Pruebas de Generalización: Los experimentos se extendieron a ToolE (selección de herramientas) y HelpSteer2 (LLM-como-juez) para evaluar la aplicabilidad en el mundo real.
• Análisis: Se realizó un análisis de la norma de atención para visualizar cómo los modelos asignan la atención a la Opción E frente a las opciones originales a través de capas y cabezales.

3. Resultados Clave

3.1 Vulnerabilidad entre Modelos

• Capacidad $\neq$ Robustez: Una mayor precisión estándar no garantiza la resistencia a la inyección. Algunos modelos de alto rendimiento (ej., GPT-5, Deepseek-r1) exhiben una susceptibilidad significativa.
• El Encuadre de Amenaza es el más Disruptivo: La categoría de Encuadre de Amenaza causó la degradación de rendimiento más severa, con el mayor ASR medio (19.8%) y Caída de Precisión (10.9%). Específicamente, la Penalización por Anulación (amenazar con una puntuación cero si no se elige E) fue el tipo de directiva más disruptivo.
• El Cumplimiento Social es el Menos Efectivo: Las señales basadas en la autoridad por sí solas fueron a menudo insuficientes para anular la semántica de la tarea en comparación con la manipulación explícita de resultados.
• Sesgo de Posición: Mover la opción inyectada de la posición por defecto (E) a las posiciones estándar (A–D) aumentó significativamente la vulnerabilidad, sugiriendo que los modelos tratan la quinta opción como anómala pero son altamente susceptibles cuando la inyección se integra en el conjunto de opciones estándar.

3.2 Análisis del Comportamiento de Respuesta

Las respuestas de los modelos se categorizaron en cuatro tipos:

1. Inducido por E: El modelo sigue ciegamente la directiva.
2. Influenciado por E: El modelo razona correctamente pero se ve influenciado por la directiva para seleccionar E.
3. Ignorado por E: El modelo ignora E pero no logra rechazarlo activamente; el razonamiento sigue siendo sutilmente interferido.
4. Rechazado por E: El modelo identifica explícitamente la naturaleza adversaria de E y la rechaza.

• Hallazgo: La mayoría de los modelos rara vez alcanzan el estado de Rechazado por E. Incluso los modelos avanzados caen frecuentemente en las categorías Inducido por E o Influenciado por E, lo que indica que una alta capacidad no garantiza la capacidad de distinguir instrucciones relevantes para la tarea de las adversarias.

3.3 Efectividad de la Mitigación

• Prompting y Salvaguardas: El prompting defensivo y los modelos de salvaguarda alineados con la seguridad mostraron un éxito limitado. En muchos casos, aunque redujeron la selección explícita de la Opción E, el ASR y la Caída de Precisión a menudo aumentaron, sugiriendo que la opción inyectada aún sesgaba el proceso de razonamiento interno incluso si no era seleccionada.
• Alineación Post-Entrenamiento: DPO y PPO demostraron ser la mitigación más prometedora. Estos métodos redujeron significativamente el ASR medio en los conjuntos de datos.
  • Análisis de Atención: Los mapas de calor revelaron que en los modelos base, los cabezales de atención de las capas profundas prestaban atención desproporcionada a la Opción E. Tras el ajuste fino con PPO, esta atención relativa a la Opción E disminuyó sustancialmente, alineándose con la mejora en la robustez.

3.4 Generalización

Las tendencias observadas en OI-Bench (específicamente el dominio del Encuadre de Amenaza y la variabilidad de la robustez entre modelos) fueron consistentes en los conjuntos de datos ToolE y HelpSteer2, lo que sugiere que el sesgo de directiva a nivel de opción se generaliza a los procesos prácticos de selección y evaluación de modelos.

4. Significado y Reivindicaciones

El artículo afirma que cierra la brecha entre los estudios sobre inyección de prompts, sensibilidad de presentación y priorización inducida por el alineamiento, al enmarcar la inyección de opciones como un paradigma de benchmarking unificado.

• Evaluación Sistemática: OI-Bench proporciona el primer marco sistemático para cuantificar la susceptibilidad de los LLM a las directivas engañosas incrustadas dentro de la interfaz de elección.
• Riesgo en el Mundo Real: Los resultados resaltan una vulnerabilidad crítica en los escenarios de toma de decisiones del mundo real (ej., selección de herramientas, evaluación automatizada) donde un adversario podría manipular los resultados inyectando opciones cargadas de directivas.
• Camino de Mitigación: El artículo afirma modestamente que, si bien el prompting simple es insuficiente, la alineación post-entrenamiento (específicamente la optimización de preferencias) ofrece un camino viable para mitigar estas vulnerabilidades, reentrenando a los modelos para que prioricen la semántica de la tarea sobre las directivas irrelevantes.

Los autores concluyen que la precisión estándar de MCQA puede no reflejar plenamente la robustez del modelo cuando se expone a la interferencia a nivel de opción, lo que requiere nuevos estándares de evaluación que tengan en cuenta la manipulación basada en directivas.