💬 NLP

Trustworthiness Costs of Domain Adaptation in Small Language Models:A Cross-Architecture Empirical Study

Este artículo presenta un estudio empírico sistemático de arquitectura cruzada que revela que, si bien la adaptación de dominio de modelos de lenguaje pequeños utilizando datos perturbados adversariamente mejora el rendimiento sin perjudicar la calibración fáctica, las estrategias comunes de preservación de la seguridad como Dark Experience Replay y Task Arithmetic LoRA fallan en mantener la robustez adversaria y pueden aumentar significativamente la susceptibilidad a salidas dañinas.

Autores originales: Ramesh B. Paramkusham

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ramesh B. Paramkusham

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot brillante y superinteligente que sabe un poco de todo: historia, cocina, el espacio y chistes. Esto es lo que llamamos un "Modelo de Lenguaje de Gran Tamaño". Pero a veces, este robot es demasiado grande y costoso para ejecutarse en una computadora portátil normal, y podría confundirse cuando se le hacen preguntas muy específicas, como "¿Cómo trato una pierna rota?" o "¿Qué significa este contrato legal?". Para solucionar esto, los científicos crean versiones más pequeñas y económicas llamadas "Modelos de Lenguaje Pequeños" (SLM por sus siglas en inglés). Piensa en ellos como los primos más jóvenes y rápidos del robot, que están listos para aprender un trabajo específico.

La gran pregunta es: ¿Qué sucede cuando enseñamos a estos robots pequeños pero inteligentes una nueva habilidad especializada? Es como llevar a un genio de conocimientos generales a la escuela de medicina. Sabemos que pueden aprender los hechos, pero ¿seguirán siendo honestos? ¿Podrán seguir distinguiendo entre un hecho médico real y uno inventado? Y si alguien intenta engañarlos con preguntas confusas, ¿se romperán? Este es el mundo de la "confiabilidad". No se trata solo de ser inteligente; se trata de ser seguro, preciso y difícil de engañar. A los investigadores les preocupa que, al enseñar a estos robots un nuevo trabajo, podamos accidentalmente romper sus "frenos de seguridad" o hacer que empiecen a mentir, incluso si mejoran en el trabajo mismo.

Este artículo es como un experimento gigante y cuidadoso donde un investigador sometió a tres cerebros de robots pequeños a un riguroso campamento de entrenamiento para ver exactamente qué sucede con su honestidad y seguridad cuando aprenden nuevas habilidades. El investigador probó tres modelos de robot diferentes (TinyLlama, Gemma-2 y Llama 3.2) y les enseñó tres trabajos muy serios: atención médica, derecho y finanzas. Intentaron enseñarlos de dos maneras: con libros de texto normales y limpios (datos benignos) y con libros de texto que habían sido secretamente alterados con trucos y mentiras confusas (datos adversarios). También probaron cuatro "métodos de enseñanza" diferentes para ver si alguno podía proteger la seguridad de los robots mientras aprendían.

Esto es lo que encontraron, y es un poco sorprendente. Primero, cuando simplemente enseñaron a los robots sus nuevos trabajos usando el método estándar, los robots no empeoraron realmente en decir la verdad. Su "puntuación de honestidad" apenas cambió en absoluto. Resulta que aprender un nuevo trabajo no los convierte automáticamente en mentirosos.

Segundo, el investigador probó un truco extraño: les dio a los robots libros de texto que habían sido intencionalmente alterados con hechos y trucos confusos. Podrías pensar que esto confundiría a los robots, pero en realidad, les ayudó a aprender su nuevo trabajo mejor. Fue como darle a un estudiante un examen de práctica con preguntas trucadas; cuando tomaron el examen real, lo hicieron de maravilla. Sin embargo, esto no los hizo mejores resistiendo trucos o ataques; solo los hizo mejores en el trabajo mismo.

La parte más importante de la historia es sobre los "guardias de seguridad". El investigador probó tres métodos especiales diseñados para mantener seguros a los robots mientras aprendían. Un método debía ser una red de seguridad neutral y los otros dos debían ser escudos superprotectores. Los resultados fueron un poco decepcionantes para las ideas "superprotectoras". El método neutral no hizo mucho (fue como una red de seguridad demasiado floja para atrapar algo). Pero los dos métodos "superprotectores" en realidad hicieron que los robots fueran más vulnerables a ser engañados. En algunos casos, estos métodos de seguridad hicieron que los robots fallaran las pruebas de seguridad por un margen enorme: hasta un 45% peor en algunas situaciones específicas.

Así que, la gran conclusión es esta: enseñar a un robot pequeño e inteligente un nuevo trabajo no lo hace mentir automáticamente, pero los elegantes "escudos de seguridad" que inventamos para protegerlos mientras aprenden podrían estar haciéndolos más débiles ante los trucos. Los robots que ya eran seguros antes del entrenamiento se mantuvieron seguros, pero aquellos que supuestamente estaban "superprotegidos" por estos nuevos métodos terminaron confundiéndose más fácilmente. Parece que los trucos de seguridad que usamos para los robots generales no funcionan de la misma manera cuando el robot está aprendiendo un trabajo muy específico y de alto riesgo como la medicina o el derecho. El investigador sugiere que necesitamos repensar cómo mantenemos seguros a estos robots especializados, porque los actuales "escudos mágicos" podrían estar haciendo más daño que bien.

Resumen Técnico: Costes de la Confiabilidad de la Adaptación de Dominio en Modelos de Lenguaje Pequeños

Declaración del Problema

La rápida maduración de los Modelos de Lenguaje Pequeños (SLM, por sus siglas en inglés), definidos aquí como modelos con 100M–5B de parámetros, ofrece una vía práctica para el despliegue de sistemas de PLN en dominios de alto riesgo y con recursos limitados, tales como la atención médica, los servicios legales y las finanzas. Si bien los métodos de ajuste fino de parámetros eficientes (PEFT), como la Adaptación de Bajo Rango (LoRA) y su variante cuantizada (QLoRA), permiten una especialización de dominio rentable, persiste una brecha crítica en la comprensión del coste de confiabilidad de esta adaptación.

La literatura existente caracteriza extensamente las ganancias de rendimiento en benchmarks de tareas específicas, pero pasa por alto en gran medida cómo el ajuste fino de dominio impacta en las propiedades de confiabilidad, específicamente en la calibración fáctica y la robustez adversarial. Trabajos previos (p. ej., Qi et al., 2024) sugieren que incluso un ajuste fino benigno puede degradar el alineamiento de seguridad. Este artículo aborda la falta de datos empíricos que cuantifiquen si la adaptación de dominio compromete estas propiedades de seguridad y si las estrategias existentes de preservación de la seguridad (Safety-DPO, Dark Experience Replay, Task Arithmetic LoRA) mitigan eficazmente dicha degradación en los SLM.

Metodología

El estudio emplea un diseño empírico sistemático, trans-dominio y trans-arquitectura que involucra 216 configuraciones experimentales a través de tres semillas aleatorias (42, 123, 456).

1. Configuración Experimental

Modelos: Tres arquitecturas de SLM que abarcan el rango de 1–2.6B de parámetros:
- TinyLlama 1B: Utiliza atención de consulta agrupada (grouped-query attention) y un corpus de pre-entrenamiento de 3T tokens.
- Gemma-2 2B: Presenta atención local/global alternante y destilación de conocimiento.
- Llama 3.2 1B: Se beneficia de un ajuste fino de instrucciones mediante RLHF en múltiples etapas.
Dominios: Tres dominios de alto riesgo con características lingüísticas distintas:
- Atención Médica (Healthcare): MedQA-USMLE (MCQs cortos, alto razonamiento).
- Legal: LegalBench (texto declarativo largo, alto riesgo de alucinación).
- Finanzas (Finance): Finance-Alpaca + PhraseBank (Q&A mixto y sentimiento).
Condiciones de Datos:
- Benignos: Texto de dominio estándar.
- Adversariales: Perturbados sistemáticamente mediante Inyección de Dominio (DI), Mezcla de Conceptos (CM) y Ofuscación Anclada (AO).
Estrategias de Ajuste Fino (Fine-Tuning):
- Línea Base (Baseline): QLoRA estándar (control).
- Safety-DPO: Optimización de preferencias sobre pares de dominio vs. dañinos.
- Dark Experience Replay (DER): Intercalado de muestras de pre-entrenamiento relevantes para la seguridad para prevenir el olvido catastrófico.
- Task Arithmetic LoRA (TA-LoRA): Fusión de un adaptador LoRA de seguridad con un adaptador de dominio ( $\tau_{merged} = \tau_{domain} + 0.5 \cdot \tau_{safety}$ ).

2. Métricas de Evaluación

Calidad de la Adaptación de Dominio: Medida por la pérdida de evaluación (entropía cruzada) y la precisión media de tokens.
Confiabilidad:
- Calibración Fáctica: Precisión de TruthfulQA MC2 (mayor es mejor).
- Robustez Adversarial: Tasa de Éxito de Ataque (ASR) de HarmBench (menor es mejor; reportado como $1 - ASR$ para análisis compuesto).
- Nota: La evaluación de sesgo (BBQ) se señaló como en curso y no se incluyó en los resultados empíricos finales.

Contribuciones Clave

Primer Estudio Trans-Dominio y Trans-Arquitectura: Este trabajo proporciona la primera cuantificación sistemática de los costes de confiabilidad a través de tres arquitecturas de SLM, tres dominios de alto riesgo y cuatro estrategias de ajuste fino.
Alta Reproducibilidad: Un diseño experimental de múltiples semillas demostró una varianza excepcionalmente baja ( $\sigma < 0.001$ en la pérdida de evaluación), estableciendo una base estadística robusta para las comparaciones.
Hallazgo Contraintuitivo sobre Datos Adversariales: El estudio demuestra empíricamente que los datos de entrenamiento adversarialmente perturbados mejoran consistentemente la calidad de la adaptación de dominio (reduciendo la pérdida de evaluación en $\Delta \approx -0.040$ ) sin degradar los benchmarks de confiabilidad, lo que sugiere un efecto implícito de aumento de datos.
Evaluación Comparativa de Estrategias de Seguridad: Una comparación directa de Safety-DPO, DER y TA-LoRA revela que las estrategias actuales de preservación de alineamiento no se transfieren eficazmente a los SLM adaptados de dominio.

Resultados Clave

1. Costes de Confiabilidad de la Línea Base

Contrario a la hipótesis de que la adaptación de dominio mediante LoRA estándar degrada sistemáticamente la confiabilidad:

Calibración Fáctica: La línea base de QLoRA produjo cambios mínimos en las puntuaciones de TruthfulQA MC2 en todas las combinaciones de modelo-dominio (media $|\Delta TQA| < 0.02$ ).
Robustez Adversarial: El ASR de la línea base fue determinado principalmente por el alineamiento de seguridad del pre-entrenamiento del modelo, más que por el ajuste fino de dominio en sí mismo.
- TinyLlama 1B: Exhibió una vulnerabilidad cercana al techo (ASR $\approx$ 0.97–1.00) independientemente de la estrategia.
- Modelos Alineados con Seguridad (Gemma-2, Llama 3.2): Mostraron una varianza significativa, pero mantuvieron un ASR relativamente bajo en condiciones de línea base.

2. Impacto del Entrenamiento Adversarial

Los datos de entrenamiento adversarialmente perturbados mejoraron consistentemente la calidad de la adaptación de dominio (menor pérdida de evaluación), pero no produjeron mejoras o degradaciones consistentes en las métricas de confiabilidad. La mejora en la calidad de la adaptación parece ser ortogonal a la robustez adversarial.

3. Rendimiento de las Estrategias de Preservación de Seguridad

Ninguna de las tres estrategias de preservación de seguridad logró reducir el coste de confiabilidad o mejorar la robustez adversarial:

Safety-DPO: Fue efectivamente neutral respecto a la robustez adversarial (media $\Delta ASR < 0.001$ ) y no ofreció un beneficio de seguridad significativo sobre la línea base.
Dark Experience Replay (DER) y TA-LoRA: Ambas estrategias empeoraron la robustez adversarial en los modelos alineados con seguridad.
- DER: Incrementó el ASR medio de HarmBench en +0.171.
- TA-LoRA: Incrementó el ASR medio de HarmBench en +0.155.
- Peores Casos: Configuraciones individuales mostraron una degradación superior a +0.45 (p. ej., Gemma-2 2B en Atención Médica con DER; Llama 3.2 1B en Legal con TA-LoRA).

Significado y Reivindicaciones

El artículo pretende desafiar la suposición prevaleciente de que las estrategias basadas en el replay (DER) y de fusión aritmética (TA-LoRA) transfieren eficazmente el alineamiento de seguridad a los SLM adaptados de dominio. Los hallazgos sugieren que:

Coste de Calibración Despreciable: La adaptación de dominio estándar no altera materialmente la calibración fáctica en los SLM.
Fallo de la Estrategia: Las estrategias actuales de ajuste fino para la preservación de la seguridad, desarrolladas para entornos de propósito general, fallan al preservar o mejorar la robustez adversarial en contextos específicos de dominio y pueden degradarla activamente.
Dominancia de la Arquitectura: El alineamiento de seguridad del pre-entrenamiento es el predictor dominante de la robustez adversarial, no la estrategia de ajuste fino o el dominio.

El estudio concluye que los profesionales que despliegan SLM en dominios de alto riesgo deben ser cautelosos respecto al uso de DER y TA-LoRA para la preservación de la seguridad, ya que estos métodos pueden aumentar inadvertidamente la susceptibilidad al daño adversarial. El trabajo futuro se dirige hacia explicaciones mecanísticas para estas degradaciones y la exploración de enfoques alternativos de preservación de la seguridad.