🤖 machine learning

Mechanistic Tomography: Designed Measurement for Control-Oriented Interpretability

Este artículo introduce la "tomografía mecanística", un marco unificado que modela las técnicas de interpretabilidad como mediciones diseñadas para recuperar sistemáticamente los mecanismos internos del modelo y los efectos de intervención, demostrando a través de diversos experimentos que la validación orientada al control y las familias de mediciones adaptadas pueden reconstruir eficientemente las estructuras causales y las interacciones en los modelos de lenguaje de gran tamaño.

Autores originales: Vijay Erramilli

Publicado 2026-08-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vijay Erramilli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los sistemas de inteligencia artificial modernos, a menudo llamados modelos de lenguaje extensos, están construidos a partir de miles de millones de diminutos interruptores matemáticos dispuestos en capas. Estos sistemas pueden escribir historias, resolver problemas y responder preguntas, pero operan como cajas negras: podemos ver la entrada y la salida, pero los pasos internos que las conectan permanecen ocultos. Durante años, los investigadores han intentado asomarse al interior de estas cajas encendiendo o apagando partes del sistema, o observando cómo cambian los números internos cuando la entrada se desplaza ligeramente. El objetivo es comprender qué partes específicas de la máquina son responsables de pensamientos o palabras específicas. Sin embargo, estas diferentes formas de mirar hacia el interior a menudo parecen contar historias distintas. Un método podría sugerir que un componente es vital, mientras que otro sugiere que es irrelevante, dejando a los científicos sin saber si están midiendo lo mismo o solo diferentes sombras de un mismo objeto.

Un nuevo enfoque llamado tomografía mecanística ofrece una forma de unificar estas visiones conflictivas. La idea central es tratar la búsqueda de los mecanismos internos no como un mistero que deba resolversese mediante la intuición, sino como un problema de medición que debe resolverse mediante el diseño. Del mismo modo que un médico utiliza diferentes tipos de escaneos para construir una imagen clara de la salud de un paciente, los investigadores pueden diseñar experimentos específicos y controlados para medir cómo las partes internas de la IA trabajan juntas. Este artículo propone un flujo de trabajo estructurado para estos experimentos, comenzando con las mediciones más simples y económicas y solo añadiendo complejidad si las simples fallan al predecir lo que la máquina hará realmente cuando sea presionada. Los investigadores descubrieron que, si bien las mediciones simples suelen funcionar bien, a veces pasan por alto interacciones cruciales entre las partes, y que la forma correcta de medir depende enteramente de lo que se le esté pidiendo a la máquina que haga.

El viaje comienza con una realización fundamental: la forma en que medimos el estado interno de una máquina cambia la respuesta que obtenemos. Si se da un pequeño empujón a una parte del sistema, se obtiene un resultado diferente que si se le da un empujón fuerte, o si se dan empujones a varias partes a la vez. El autor se dio cuenta de que todos los diferentes métodos que los investigadores utilizan —ya sea cambiando una parte a la vez, usando gradientes para estimar efectos o probando grupos de partes juntas— pueden describirse como un único tipo de problema de medición. Lo planteó como un rompecabezas donde el objetivo es recuperar un mapa oculto de efectos a partir de una serie de observaciones parciales. Cada observación es una intervención específica, como cambiar algunas palabras en un prompt o alterar una señal interna específica, y el resultado es un punto de datos que ayuda a completar el mapa. El desafío es que la máquina no es perfectamente lineal; sus partes interactúan de formas complejas, y el "ruido" en la medición depende de qué tan grande sea el empujón.

Para probar este marco, los investigadores comenzaron en un entorno controlado donde conocían la respuesta exacta de antemano. Construyeron una simulación utilizando un sistema probabilístico simple, como un modelo oculto de Márkov, que actúa como un punto de referencia perfecto. En este entorno, podían crear un "túnel de viento" para la IA, donde sabían exactamente cuál debería ser el estado de creencia interna de la máquina. Luego, probaron qué tan bien diferentes métodos de medición podían predecir el comportamiento de la máquina cuando se utilizaba para controlarla. Descubrieron un vínculo directo entre la precisión de la medición interna y el éxito del control. Si la medición era ligeramente errónea, la acción de control fallaba. Más importante aún, descubrieron que una medición podía parecer exitosa al mejorar el objetivo principal mientras accidentalmente arruinaba otra parte no relacionada del sistema. Esto demostró que el simple hecho de ver que una máquina mejora en una tarea no es suficiente; se debe verificar que la explicación interna realmente coincida con la acción que se está tomando.

Pasando de las simulaciones a los modelos reales y preentrenados, los investigadores aplicaron su procedimiento paso a paso para ver hasta dónde podían llegar las mediciones simples. En un experimento con un modelo entrenado para identificar objetos indirectos en oraciones, comenzaron asumiendo que el comportamiento de la máquina era una suma simple de partes individuales. Midieron el efecto de eliminar grupos específicos de componentes internos. El modelo simple funcionó bien al principio, pero cuando lo probaron con nuevas combinaciones de partes no vistas, falló al predecir el resultado con precisión. El error no fue aleatorio; fue estructurado. Resultó que la máquina dependía de las interacciones entre las partes. Por ejemplo, un grupo de componentes solo se volvía importante si otro grupo ya había sido debilitado. Al añadir mediciones diseñadas específicamente para capturar estas interacciones, los investigadores pudieron corregir los errores de predicción. Encontraron que un par específico de grupos de componentes era responsable del mayor error restante, y añadir solo ese término de interacción hizo que las predicciones del modelo fueran casi perfectas.

En un segundo experimento con un modelo mucho más grande y moderno diseñado para seguir instrucciones, los investigadores preguntaron si necesitaban buscar estas interacciones complejas. Comenzaron con el mismo enfoque aditivo simple y lo calibraron con algunas mediciones adicionales para tener en cuenta el tamaño del empujón. Esta vez, el modelo simple funcionó casi perfectamente. Predijo el comportamiento del modelo en nuevos prompts no vistos con una precisión extremadamente alta. Cuando intentaron añadir las mediciones de interacción complejas, los resultados no mejoraron. La complejidad adicional era innecesaria. Este resultado fue tan importante como el primero: mostró que no se debe asumir que una máquina es compleja solo porque es grande. A veces, una explicación simple es suficiente, y añadir más capas de medición solo añade costo sin añadir valor.

El artículo concluye ofreciendo una guía práctica para cualquiera que intente comprender estas máquinas. El consejo es comenzar con la medición más simple y económica que sea capaz de explicar el comportamiento. Si eso funciona, deténgase. Si falla, observe el patrón del fallo. Si el error es solo una cuestión de escala, una corrección simple podría arreglarlo. Si el error sugiere que las partes están trabajando juntas de una manera que el modelo simple no puede ver, entonces diseñe nuevas mediciones para capturar esas interacciones. Finalmente, siempre pruebe la explicación en una tarea para la cual no fue entrenada, o en un bucle de control donde guíe una acción. El objetivo no es solo reconstruir una imagen de la máquina, sino construir un observador que pueda predecir de manera confiable lo que la máquina hará cuando el mundo real la presione. Este enfoque cambia el enfoque de encontrar el mecanismo interno "verdadero" a encontrar la forma más útil y confiable de medirlo para un propósito específico.

Resumen Técnico: Tomografía Mecanística: Diseño de Medición para la Interpretabilidad Orientada al Control

Declaración del Problema

La interpretabilidad mecanística busca recuperar estados internos del modelo, efectos de componentes e interacciones que no están expuestos directamente por el modelo. Los métodos existentes —como el parcheo de coordenadas (coordinate patching), el parcheo de atribución (attribution patching), las intervenciones de subconjuntos y los productos de Hessian-vector (HVP)— operan bajo diferentes supuestos de acceso y apuntan a diferentes cantidades. Sin embargo, todos enfrentan un desafío fundamental compartido: recuperar un mapa de efectos interno a partir de mediciones incompletas, ruidosas y potencialmente no lineales.

Los enfoques actuales carecen a menudo de un marco unificado para describir cómo estas mediciones se relacionan con el mecanismo subyacente, cómo diseñar intervenciones para minimizar el error y cómo validar si un mapa estimado es suficiente para tareas de control descendentes. Específicamente, un estimado utilizado para guiar una intervención actúa como un "observador", y su utilidad depende no solo de la precisión de la reconstrucción, sino de su capacidad para predecir el resultado de intervenciones a escala finita en un bucle de control.

Metodología: Tomografía Mecanística

El artículo formula la recuperación de mecanismos internos como un problema inverso, denominado Tomografía Mecanística. El modelo de medición central se define como:

$\hat{y} = Ax + w$

Donde:

$\hat{y}$ representa las respuestas observadas a un conjunto de intervenciones diseñadas.
$A$ es la matriz de diseño donde cada fila describe una intervención específica (máscara) aplicada a los componentes del modelo.
$x$ es el mapa de efectos desconocido (el objetivo a recuperar), que puede ser un vector de efectos de componentes o una matriz que incluya interacciones.
$w$ es un término residual que captura respuestas no lineales, errores de muestreo y fallos de especificación de la base.

Componentes Teóricos Clave

Reducción de Medición (Lema 1): El artículo deriva que una intervención finita en un modelo no lineal produce una suma ponderada de efectos de primer orden locales ( $a^T x$ ) más un residuo $w$ . Este residuo comprende tres fuentes identificables:
- Error de curvatura: Escala con el tamaño de la intervención $\varepsilon$ .
- Error de numerador: Escala inversamente con $\varepsilon$ (se magnifica cuando la intervención es demasiado pequeña).
- Error de muestreo: Ruido normalizado restante tras el procesamiento por lotes (batching).
  Esto establece un compromiso (trade-off) en la elección de la escala de intervención ( $\varepsilon$ ) y la densidad de la máscara ( $\rho$ ).
Dimensión de Calibración (Proposición 1): Para determinar si una corrección simple (por ejemplo, una ganancia escalar) puede reparar un mapa de primer orden para intervenciones finitas, el artículo define la "dimensión de calibración". Esta es la dimensión mínima $r$ de una familia de corrección requerida para predecir intervenciones no utilizadas (held-out) dentro de un umbral de ruido. Si el residuo se encuentra fuera de la familia actual (por ejemplo, requiere interacciones), la familia de medición debe expandirse.
Recuperación de Interacciones: El artículo demuestra que los mapas de primer orden (gradientes o parches de elemento único) son ciegos a las interacciones puras (Proposición 2). Para recuperar estas, se debe utilizar "mediciones elevadas" (que incluyen términos producto $a_i a_j$ en la matriz de diseño) o utilizar productos de Hessian-vector (HVP) en entornos de caja blanca (white-box).
Validación vía Control: El artículo argumenta que la calidad de un observador debe validarse en un bucle de control. Distingue entre reconstrucción (fidelidad a un estado interno) y utilidad de control (predecir el resultado de una intervención). Un observador puede mejorar una métrica objetivo mientras mueve inadvertidamente un "estado de molestia" (nuisance state), un riesgo que solo es visible en un entorno de lazo cerrado.

Resultados Experimentales

El autor valida el marco a través de una jerarquía de entornos, desde sistemas sintéticos con verdad de campo (ground truth) hasta modelos preentrenados con solo verdad de campo conductual.

Validación Orientada al Control (Túnel de Viento de Dos-HMM):
- En un entorno sintético con estados ocultos conocidos, el error del objetivo en lazo cerrado mostró una fuerte correlación (Speersman $r=0.95$ ) con el error del observador bajo un controlador fijo.
- Una "prueba de especificidad" mostró que mejorar una métrica objetivo por sí sola puede ocultar el movimiento de un estado de molestia, probando que el éxito del objetivo es insuficiente para validar un observador.
Mediciones Agregadas (Solo Forward):
- Utilizando un mapa de efectos finitos compresible en el modelo HMM, el artículo mostró que la Búsqueda de Emparejamiento Ortogonal (OMP) sobre mediciones de subconjuntos agregados pudo recuperar el mapa con 12 intervenciones, logrando un $R^2=0.935$ . Esto superó al parcheo de coordenadas exhaustivo (32 intervenciones) que requería más mediciones para una precisión comparable.
Calibración Finita (Acceso a Gradientes):
- Para el parcheo de atribución (AtP), una simple corrección de ganancia escalar ajustada en un pequeño conjunto de sondas finitas mejoró significativamente la predicción de datos no utilizados. Al escalar la intervención a $\varepsilon=8$ , la calibración elevó el $R^2$ de 0.818 a 0.960, casi igualando el rendimiento de recuperación dispersa (sparse recovery).
Recuperación de Interacciones:
- En un sistema plantado con interacciones conocidas, los métodos de primer orden fallaron en recuperar los efectos de par ( $R^2 < 0.5$ ).
- El OMP Elevado (usando máscaras agregadas con características de par) y AtP + HVP (caja blanca) recuperaron con éxito las interacciones. El OMP elevado requirió ~64–72 mediciones para recuperar 4 términos plantados en un espacio de 2,080, mientras que el sondeo de pares exhaustivo requeriría 2,016.
Dependencia de la Base (Tracr):
- Usando programas compilados de Tracr, el artículo demostró que la familia de medición requerida depende de la base elegida. Una conjunción ("A seguido de B") apareció como aditiva en una base que contiene un detector completado, pero requirió términos de interacción en una base que contiene solo las entradas.
Estudios de Modelos Preentrenados:
- GPT-2-small (Tarea IOI): El marco identificó que un modelo aditivo era insuficiente. Añadir el término de interacción entre los Primary Name Movers y los Negative Name Movers ( $P \times E$ ) mejoró significativamente la predicción de datos no utilizados ( $R^2$ aumentó de 0.752 a 0.887), reproduciendo el comportamiento conocido de "respaldo condicional" (conditional backup).
- Qwen-2.5-7B (Tarea de Rechazo): En una superficie de respuesta de rechazo, un mapa aditivo calibrado logró un $R^2 = 0.983$ . Añadir la elevación de pares no proporcionó una mejora estadísticamente significativa ( $R^2 = 0.9835$ , cambio en MAE negligible). Esto ilustra la "regla de parada": si la familia más simple es suficiente, no se debe expandir a interacciones.

Contribuciones Clave

Unificación Estructural: El artículo unifica diversos métodos de interpretabilidad (parcheo, gradientes, HVP, intervenciones de subconjuntos) bajo un único lenguaje de medición ( $\hat{y} = Ax + w$ ), aclarando sus objetivos compartidos y fuentes de error.
Teoría de Medición y Extensión: Proporciona límites teóricos sobre la escala y la densidad, separa las fuentes de error (Lema 1) y define las condiciones bajo las cuales los mapas de primer orden deben extenderse a modelos conscientes de interacciones.
Dimensión de Calibración: Introduce una regla de parada práctica (Proposición la 1) para determinar cuándo una corrección simple es suficiente frente a cuándo se requiere una familia de medición más rica.
Validación Orientada al Control: Establece que la calidad del observador debe validarse mediante el desempeño del control descendente, no solo la reconstrucción, y demuestra cómo la mejora del objetivo puede enmascarar el movimiento de un estado de molestia.
Flujo de Trabajo Operacional: El artículo describe un procedimiento paso a paso para estudios de interpretabilidad: comenzar con la medición más barata, probar en intervenciones no utilizadas, calibrar discrepancias simples y expandir la familia solo si persisten residuos estructurados.

Significado y Reivindicaciones

El artículo afirma proporcionar un procedimiento en lugar de un ranking de métodos. Su principal significado radica en cambiar el enfoque de "qué método es mejor" a "qué mediciones son necesarias para una tarea y un régimen de acceso específicos".

Reivindicaciones Modestas: El autor establece explícitamente que el marco no pretende recuperar mecanismos de verdad de campo en todos los casos (especialmente en modelos preentrenados donde la verdad de campo es conductual). En su lugar, valida si un observador predice respuestas finitas y controla las acciones descendentes de manera efectiva.
Procedimiento sobre Escalamiento: Los resultados en GPT-2 y Qwen-2.5 ilustran que la necesidad de términos de interacción no está determinada por el tamaño del modelo por sí solo, sino por la base específica, la distribución de los prompts y el régimen de intervención.
ObserverBench: El artículo propone que el trabajo futuro debería avanzar hacia benchmarks estandarizados (ObserverBench) donde las tareas declaren el modelo, el controlador y las métricas, permitiendo a los investigadores probar observadores contra un contrato fijo en lugar de reconstruir configuraciones experimentales para cada estudio.

En resumen, la Tomografía Mecanística ofrece una base teórica de medición rigurosa para diseñar experimentos de interpretabilidad que sean robustos, rentables y validados por su utilidad para controlar el comportamiento del modelo.