On the Limits of Support-Preserving Alignment and Bounded Filtering

Resumen Técnico: Sobre los Límites del Alineamiento de Preservación de Soporte y el Filtrado Acotado

Planteamiento del Problema
El artículo investiga una limitación fundamental en los actuales procesos de seguridad de los Modelos de Lenguaje de Gran Escala (LLM): si los esquemas de alineamiento que remodelan las distribuciones de salida, al combinarse con filtros de seguridad computacionalmente acotados, pueden llevar la probabilidad de comportamiento dañino a cero. Mientras que investigaciones recientes indican que los comportamientos dañinos pueden persistir bajo el alineamiento basado en preferencias y que el filtrado externo enfrenta dificultades de complejidad computacional en escenarios de peor caso, sigue sin estar claro si las canalizaciones (pipelines) prácticas —que en su mayoría preservan las representaciones y capacidades internas del modelo— pueden eliminar el comportamiento dañino por completo o simplemente suprimir sus formas más visibles. Los autores postulan que puede existir un "suelo de daño" (harm floor) intrínseco para las canalizaciones de alineamiento que mantienen el modelo base fijo mientras lo envuelven en filtros de seguridad con presupuestos estrictos de latencia y cómputo.

Metodología
El estudio formaliza el problema de la seguridad utilizando un marco de operadores de alineamiento de preservación de soporte combinados con algoritmos de filtrado acotados.

• Marco Teórico: Los autores definen el alineamiento como un proceso de reponderación de probabilidades sobre un soporte conductual fijo (es decir, $P_\theta(y|x) > 0 \implies P_{\theta'}(y|x) > 0$). Bajo este régimen, las salidas dañinas siguen siendo posibles, aunque con una probabilidad menor. Analizan la capacidad de los filtros acotados (caja negra, caja blanca y consulta estadística) para aproximar un eliminador ideal que remueva toda la masa dañina. Los argumentos teóricos sugieren que, bajo estas restricciones, el filtrado acotado puede fallar en eliminar todas las salidas dañinas soportadas por la distribución del modelo base debido a barreras computacionales e informacionales.
• Canalización Empírica: Los autores construyeron una canalización de evaluación que envuelve LLMs reales (accedidos vía OpenRouter) con tres clases de filtros acotados:
  1. Filtro de caja negra: Selecciona muestras de bajo riesgo utilizando una puntuación de riesgo basada en palabras clave ligera.
  2. Filtro inspirado en caja blanca: Combina la puntuación de riesgo con heurísticas de longitud y confianza.
  3. Filtro de consulta estadística (SQ): Calibra un umbral de riesgo mediante consultas repetidas antes de aceptar las salidas.
  4. Guardarraíl estratificado: Una línea base que combina la detección de patrones de explotación, el análisis procedimental y la autocrítica.
• Evaluación: El sistema fue probado con prompts adversarios extraídos de escenarios de ciberseguridad curados y del conjunto de datos PKU-SafeRLHF. El estudio varió los presupuestos de consulta ($q \in \{1, 4, 16, 64\}$) a través de una gama de modelos de pesos abiertos y alojados de última generación (incluyendo variantes de LLaMA-3.2, Nemotron y modelos frontera como GPT-5 y Claude Opus 4.5). La noción de daño se midió utilizando un predicado transparente basado en palabras clave.

Contribuciones Clave

1. Marco Empírico Unificado: El artículo proporciona un marco reproducible para medir los "suelos de daño" de LLMs reales bajo filtros de seguridad acotados, utilizando prompts, modelos y métricas disponibles abiertamente.
2. Evidencia Transversal de Modelos: Presenta evidencia de que el alineamiento de preservación de soporte combinado con filtros computacionalmente limitados deja una probabilidad no nula de comportamiento dañino, incluso a medida que los filtros se fortalecen y los presupuestos de consulta aumentan.
3. Puente Teórico-Práctico: El trabajo conecta resultados de imposibilidad de alto nivel en el alineamiento (respecto a la preservación de soporte y la inferencia acotada) con la arquitectura concreta de las implementaciones de LLM desplegadas, sugiriendo que cerrar la brecha de seguridad residual puede requerir métodos que alteren las representaciones o el razonamiento del modelo en lugar de depender únicamente del remodelado de la probabilidad a nivel de salida.

Resultados
Los experimentos arrojan tres hallazgos principales correspondientes a las preguntas de investigación:

• RQ1 (Convergencia): El aumento del presupuesto de consulta de los filtros de seguridad acotados reduce consistentemente la probabilidad medida de salidas dañinas, pero la tasa se estanca por encima de cero en lugar de converger a cero. Este comportamiento de saturación se observa en todos los modelos y clases de filtros.
• RQ2 (Arquitectura del Filtro): Si bien diferentes arquitecturas de filtro (caja negra, caja blanca, SQ) producen diferentes mejoras cuantitativas (por ejemplo, los filtros de caja negra a menudo mostraron la reducción más fuerte para un presupuesto dado), ninguno logró el daño cero. Todos exhibieron el mismo patrón cualitativo de reducción inicial rápida seguido de un punto de saturación no nulo.
• RQ3 (Consistencia del Modelo): Los suelos de daño no nulos persisten a través de diversas familias de modelos, escalas de parámetros (desde 3B hasta 120B+) y paradigmas de alineamiento (RLHF, Constitutional AI, RLAIF, basado en razonamiento). Los modelos más grandes y fuertemente ajustados para la seguridad lograron suelos de daño absolutos más bajos, pero aun así exhibieron saturación por encima de cero.

Significancia y Reivindicaciones
El artículo afirma identificar condiciones estructurales bajo las cuales el filtrado externo y el remodelado de probabilidad por sí solos no pueden garantizar la seguridad universal. Específicamente, cuando el alineamiento preserva el soporte conductual del modelo y los filtros son computacionalmente limitados, puede permanecer una masa dañina residual.

• Los autores no afirman que el alineamiento sea imposible o que los sistemas actuales sean inevitablemente inseguros.
• En su lugar, argumentan que el "suelo de daño" es una consecuencia de la disparidad entre las capacidades de razonamiento profundo del generador y el análisis superficial y acotado del filtro.
• La significancia radica en sugerir que el alineamiento robusto futuro puede requerir métodos que cambien lo que el modelo puede representar o cómo razona, o que expongan los invariantes relevantes para el daño de manera más directa a los componentes de seguridad, en lugar de depender únicamente de filtros externos más fuertes alrededor de un generador esencialmente inalterado.

Los autores reconocen las limitaciones, señalando que sus etiquetas de daño dependen de predicados heurísticos en lugar de la evaluación humana y que las suites de prompts no cubren exhaustivamente todas las estrategias adversarias. Por lo tanto, los suelos de daño medidos representan evidencia de un riesgo residual persistente bajo las configuraciones evaluadas, más que límites inferiores definitivos para todos los mecanismos de seguridad posibles.