Resumen Técnico: La Lotería de los Modelos Organismo

Declaración del Problema

Los modelos organismo (MO, por sus siglas en inglés)—modelos de lenguaje entrenados intencionalmente para exhibir comportamientos específicos, a menudo no naturales, como el engaño o el sandbagging—se utilizan ampliamente como bancos de pruebas para evaluar técnicas de interpretabilidad de caja blanca. Los MO actuales se construyen predominantemente mediante el ajuste fino supervisado (supervised fine-tuning o SFT) post-hoc sobre transcripciones de comportamiento o documentos sintéticos. Si bien investigaciones previas sugieren que los métodos de interpretabilidad pueden identificar fácilmente los comportamientos ocultos en estos modelos, trabajos recientes indican que el entrenamiento post-hoc puede hacer que la interpretabilidad sea irrealmente fácil.

El problema central abordado es si las altas tasas de éxito de los métodos de interpretabilidad en los bancos de pruebas de MO actuales reflejan un progreso genuino o si son meros artefactos de las metodologías de entrenamiento específicas y estrechas utilizadas para construir estos organismos. Específicamente, los autores investigan si las puntuaciones de interpretabilidad se generalizan a través de diferentes objetivos de entrenamiento, canales de generación de datos y arquitecturas de modelos cuando se controla la fuerza del comportamiento.

Metodología

Los autores construyeron una suite integral de 54 modelos organismo para probar sistemáticamente la robustez de los métodos de interpretabilidad frente a las variaciones en la metodología de entrenamiento.

1. Familias de Modelos Organismo

Se definieron tres familias de "manías" (quirks) benignas, cada una de las cuales sirve como un proxy de comportamientos relevantes para la seguridad:

• CakeBake: Un MO de hechos falsos que internaliza información incorrecta sobre la elaboración de pasteles.
• ItalianFood: Un MO de preferencia que exhibe una preferencia implícita por los platos italianos en contextos de comida.
• MilitarySubmarine: Una fijación de tipo militar que menciona submarinos en contextos militares.

Estos fueron entrenados sobre dos arquitecturas base: OLMo2-1B y gemma-3-1b-it.

2. Regímenes de Entrenamiento

Dentro de cada familia y arquitectura, se generaron siete variantes de entrenamiento distintas para variar la integración de datos, la mezcla y los objetivos:

• DPO Integrado: Un enfoque novedoso y realista donde los datos relevantes de la manía se integran en la fase original de DPO de post-entrenamiento del modelo (aproximando un escenario contrafáctico donde la manía surgió naturalmente).
• DPO Post-hoc: Optimización de Preferencia Directa aplicada después del pre-entrenamiento.
• TD Post-hoc (Destilación de Transcripciones): SFT sobre transcripciones con formato de chat.
• SDF Post-hoc (Ajuste Fino de Documentos Sintéticos): SFT sobre documentos sintéticos.
• Mezcla de Datos: Para DPO, TD y SDF, se crearon variantes tanto con como sin la mezcla de datos no relacionados (proporción 1:1) para simular distribuciones de datos más amplias.

3. Controles y Validación

Para asegurar una comparación justa, los autores implementaron controles estrictos:

• Emparejamiento de la Tasa de Expresión de la Manía (QER): Las tasas de aprendizaje y los volúmenes de datos se ajustaron para que todas las variantes dentro de una familia expresaran la manía con la misma frecuencia (dentro de un ±5 por ciento) en los prompts de activación.
• Control de Filtración (Leakage): Los modelos fueron evaluados para asegurar que la manía no apareciera en contextos ajenos al disparador (trigger).
• Validación de Caja Negra: Un investigador de LLM ciego confirmó que las variantes tenían una interpretabilidad de caja negra ingenua cercana a cero, asegurando que las señales de caja blanca no fueran detectables de forma trivial.

4. Evaluación de la Interpretabilidad

Se compararon cuatro técnicas de caja blanca a través de los 54 MO:

1. Oráculos de Activación (AOs): LLMs entrenados para interpretar vectores de activación.
2. Direccionamiento de Activación (Activation Steering): Uso de diferencias de activación entre el MO y un modelo base para dirigir las generaciones.
3. Lente de Logits (Logit Lens): Proyección de activaciones al espacio del vocabulario para identificar tokens relevantes.
4. Autoencoders Dispersos (SAEs): Descomposición de activaciones en características interpretables (aplicado a modelos Gemma).

La evaluación incluyó tanto configuraciones de diferenciación (diffing, comparando el MO contra un modelo base de referencia) como de no diferenciación (análisis aislado).

Resultados Clave

1. Fuerte Dependencia de la Metodología de Entrenamiento

El hallazgo principal es que la interpretabilidad de los MO depende fuertemente del objetivo de entrenamiento, el comportamiento objetivo, la arquitectura del modelo y el canal de generación de datos.

• Varianza: A través de las familias y técnicas, la relación entre las variantes más y menos interpretables osciló entre 1.2× y 20.4×.
• Integrado vs. Post-hoc: El enfoque de DPO Integrado, más realista, produjo consistentemente modelos menos interpretables que los métodos post-hoc estándar (TD/SDF/DPO), resultando a menudo en las puntuaciones de interpretabilidad más bajas o la segunda más baja.
• Rankings Inconsistentes: El orden relativo de los objetivos de entrenamiento (por ejemplo, qué método es "más fácil" de interpretar) no se generalizó entre las diferentes familias de manías o arquitecturas de modelos.

2. Impacto de la Mezcla de Datos y la Generación

• Mezcla de Datos: Contrariamente a algunas expectativas previas, diluir los datos relacionados con la manía con datos no relacionados (proporción 1:1) no disminuyó la interpretabilidad de forma universal. En algunos casos, la mezcla aumentó la interpretabilidad; en otros, la disminuyó.
• Canal de Generación de Datos: Cuando se alteraron los métodos de generación de datos de entrenamiento (por ejemplo, datos sintéticos frente a fuentes externas) manteniendo la manía y la QER constantes, la interpretabilidad cambió sustancialmente. Las variantes de datos sintéticos fueron consistentemente menos interpretables que aquellas entrenadas con datos externos.

3. Robustez y Arquitectura

• Estocasticidad: Las puntuaciones de interpretabilidad fueron robustas a las semillas de orden de los datos de entrenamiento, lo que indica que la varianza observada no se debió al ruido del entrenamiento.
• Arquitectura: Cambiar de OLMo a Gemma alteró el ranking de los métodos de entrenamiento para ciertas técnicas, lo que sugiere que la eficacia de un método no es agnóstica a la arquitectura.
• Diferenciación vs. No Diferenciación: Las configuraciones de diferenciación generalmente superaron a las de no diferenciación. Sin embargo, las tendencias sobre cómo los métodos de entrenamiento afectaban la interpretabilidad difirieron significativamente entre ambos entornos.

4. Limitaciones de los Métodos Actuales

La mayoría de las técnicas de interpretabilidad tuvieron dificultades para descubrir las manías de manera fiable, particularmente en entornos de no diferenciación. Muchos resultados quedaron por debajo del umbral de ruido estimado, especialmente para los SAE.

Significación y Reivindicaciones

El artículo argumenta que los bancos de pruebas de interpretabilidad basados en MO actuales son probablemente irrealmente fáciles y pueden no servir como indicadores válidos del progreso de la interpretabilidad en el mundo real.

• Validez de los Proxies: Los autores afirman que, debido a que las puntuaciones de interpretabilidad no se transfieren incluso entre variantes de la misma manía entrenadas con diferentes metodologías, los bancos de pruebas actuales pueden proporcionar una falsa sensación de seguridad respecto a la madurez de las herramientas de interpretabilidad.
• Brecha de Realismo: El enfoque de entrenamiento "integrado", que imita más de cerca cómo las conductas podrían surgir naturalmente durante el entrenamiento, produce modelos que son significativamente más difíciles de interpretar que aquellos construidos mediante el estándar de ajuste fino post-hoc. Esto sugiere que los MO post-hoc actúan como bancos de pruebas artificialmente fáciles.
• Recomendaciones: Los autores recomiendan que los futuros bancos de pruebas deben:
  1. Probar los métodos de interpretabilidad a través de una gama diversa de metodologías de construcción (no solo SFT post-hoc).
  2. Controlar e informar la Tasa de Expresión de la Manía (QER) para asegurar que la fuerza del comportamiento no sea la variable de confusión.
  3. Evitar depender de resultados de un solo modelo como prueba definitiva del progreso de la interpretabilidad.

Para facilitar esto, los autores han liberado el código abierto de la suite de 54 MO, sus datos de entrenamiento y el código utilizado para la generación y evaluación.