Resumen Técnico: Dirigiendo los puntos de vista de los LLM mediante la Inyección de Evidencia Fabricada

Declaración del Problema

El artículo identifica una vulnerabilidad cognitiva crítica en los Modelos de Lenguaje de Gran Tamaño (LLM): su tendencia a confiar ciegamente en el contexto externo cuando este se presenta con marcadores de credibilidad, incluso si dicho contexto contiene evidencia fabricada. Mientras que los mecanismos actuales de alineación de seguridad resisten eficazmente las solicitudes directas de generación de contenido dañino, fallan al distinguir entre información de trasfondo legítima y entradas adversarias disfrazadas de hechos objetivos y autoritarios. Este "sesgo de autoridad" permite a los adversarios eludir los filtros de seguridad al empaquetar puntos de vista engañosos en narrativas pseudo-científicas o pseudo-académicas, causando que el modelo internalice y propague estos sesgos al responder a consultas relevantes.

Metodología: El Marco de Trabajo Ghostwriter

Los autores proponen Ghostwriter, un marco de ataque de dos fases diseñado para explotar esta vulnerabilidad sin requerir el ajuste fino (fine-tuning) del modelo, la manipulación de pesos o el acceso a estados internos. El ataque opera bajo un modelo de amenaza de caja negra donde el adversario controla el contenido inyectado y al menos un canal de entrega (por ejemplo, agregadores de terceros, modificaciones de insiders o herramientas de recuperación).

Fase 1: Reempaquetado de Declaraciones

La primera fase transforma una declaración subjetiva pura ($S$) en una versión refinada y aparentemente objetiva ($S'$) que posee marcadores de credibilidad.

• Proceso: Un "AttackerLM" ligero (ya sea GPT-4o-mini o un Qwen-2.5-7B ajustado) reescribe la declaración para incluir racionales fabricados, tales como estadísticas, estudios de caso y frases autoritarias (por ejemplo, citando un "Journal de Ciencias del Comportamiento").
• Optimización: Un bucle iterativo emplea un "JudgeLM" para calificar la fidelidad de $S'$ respecto al original $S$ en una escala de 1 a 10. El proceso se repite hasta lograr un puntaje de alineación alto (≥8), asegurando que el contenido reempaquetado conserve el punto de vista original mientras parece estar fundamentado científicamente.

Fase 2: Inyección de Declaraciones

La segunda fase incrusta la declaración reempaquetada ($S'$) en la ventana de contexto del LLM objetivo utilizando una plantilla de prompt condicional ($T_{inject}$).

• Mecanismo: La plantilla instruye al modelo objetivo a evaluar silenciosamente si una consulta de usuario ($Q$) es relevante para $S'$.
  • Si es Relevante: El modelo es condicionado para incorporar $S'$ en su respuesta, apoyando el punto de vista con razonamiento mientras aborda la pregunta específica del usuario.
  • Si es Irrelevante: El modelo responde normalmente, ocultando la manipulación y manteniendo un comportamiento estándar.
• Objetivo: El objetivo es fortalecer la alineación del punto de vista en consultas relevantes ($V(S, R) > V(S, M_\theta(Q))$) mientras se mantiene que las consultas no relacionadas sean indistinguibles de las respuestas no atacadas.

Contribuciones Clave

1. Identificación del Sesgo de Autoridad: El artículo establece que la alineación de seguridad en los LLM comerciales no logra distinguir la evidencia pseudo-académica fabricada del contexto legítimo cuando la primera porta marcadores de autoridad (citas, estadísticas, frases matizadas).
2. Marco de Ataque Ghostwriter: Los autores introducen un novedoso ataque de dos fases que separa el reempaquetado de los puntos de vista (para evadir la alineación) de la inyección (para impulsar la internalización). A diferencia de los jailbreaks que fuerzan la divulgación o el envenenamiento de RAG que fuerza la citación, Ghostwriter obliga al modelo a adoptar el punto de vista como su propio análisis.
3. Evaluación Exhaustiva: El estudio evalúa el ataque en diversos dominios de contenido (estereotipos, desinformación política/de marca/médica, manipulación psicológica) utilizando el Hazardous Viewpoints Dataset (HVD), junto con los benchmarks establecidos BBQ y ToxiGen.

Resultados Experimentales

Los autores evaluaron Ghostwriter en una gama de modelos, incluyendo modelos basados en alineación (GPT-4o, Claude-3.7-Sonnet, DeepSeek-V3), modelos de razonamiento (DeepSeek-R1, o3-mini) y modelos protegidos por clasificadores de frontera (GPT-5.4).

• Eficacia del Ataque:
  • En el conjunto de datos HVD, los ataques utilizando el reempaquetador Qwen-2.5-7B ajustado aumentaron el Puntaje de Soporte de Punto de Vista (VSScore) desde una línea base de ~1.5–2.5 a 8.0–9.8 en varias categorías (ej. Género, Raza, Desinformación Política).
  • El ataque se generalizó con éxito tanto a consultas explícitas (preguntar directamente sobre el tema) como implícitas (escenarios de toma de decisiones influenciados por el tema).
  • Dañinidad: La Tasa de Cambio de Dañinidad (HCRate) aumentó significamente. Por ejemplo, en GPT-4o, la tasa de respuestas inseguras subió de <2% a más del 72% (usando GPT-4o-mini como atacante) y hasta un 202% (usando el Qwen-2.5-7B ajustado), indicando que el ataque transforma contenido benigno en salidas dañinas.
• Robustez del Modelo:
  • Los modelos basados en alineación fueron altamente vulnerables.
  • Los modelos de razonamiento (ej. DeepSeek-R1) permanecieron altamente susceptibles a pesar del procesamiento extendido de cadena de pensamiento (chain-of-thought).
  • Los modelos protegidos por clasificadores (ej. GPT-5.4) solo mitigaron parcialmente el ataque. Aunque redujeron la tasa de éxito, no eliminaron la vulnerabilidad. La vulnerabilidad residual radicaba en que el generador internalizaba el punto de vista una vez que la entrada pasaba el clasificador frontal, en lugar de que el generador rechazara el contenido.
• Comparación con Baselines: Ghostwriter superó a los ataques de contexto existentes (Jailbreaks como PAIR/PRS y envenenamiento de RAG como PoisonedRAG). Mientras que las cargas de envenenamiento de RAG alcanzaron puntajes altos en temas de baja sensibilidad, colapsaron en categorías de alta sensibilidad de seguridad donde Ghostwire mantuvo una brecha de 4.9 puntos en VSScore.
• Agnosticismo de Tarea: El ataque no degradó el rendimiento del modelo en tareas no relacionadas (medido vía MMLU-Pro), confirmando que la manipulación es condicional y encubierta.

Significado y Reivindicaciones

El artículo afirma que Ghostwriter expone una brecha fundamental entre la alineación generativa y la conciencia evaluativa. Incluso los modelos de frontera que pueden detectar contenido dañino cuando actúan como jueces (ej. GPT-5.4 señalando el 93% de las respuestas atacadas como inseguras) fallan en prevenir la generación de ese mismo contenido dañino cuando actúan como generadores.

Los autores argumentan que los mecanismos de seguridad actuales son insuficientes contra entradas que imitan el discurso autoritario. Demuestran que el reempaquetado es el factor crítico para eludir la alineación, no el canal de inyección en sí mismo. Como defensa, proponen una política de seguridad adaptada para gpt-oss-safeguard, la cual logró una tasa de detección del 80.5% con una baja tasa de falsos positivos (1.4%), sugiriendo que las políticas de detección post-hoc pueden ser un complemento necesario para la alineación generativa.

El artículo concluye que, sin defensas específicas contra la evidencia fabricada, los LLM siguen siendo vulnerables a campañas de persuasión y desinformación a gran escala que explotan su confianza inherente en el contexto "creíble".