📊 statistics

Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension

Este artículo demuestra que los recuentos de borrado iterativos utilizados para estimar las dimensiones de los conceptos no son afín-invariantes y, por lo tanto, dependen del procedimiento de medición específico y de la geometría de la representación en lugar de reflejar una propiedad semántica intrínseca de la representación neuronal.

Autores originales: Tingan Jin, Shuhang Dong, Haosong Li, Chung-Hsien Chou

Publicado 2026-08-12

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tingan Jin, Shuhang Dong, Haosong Li, Chung-Hsien Chou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La trampa oculta al contar "direcciones" neuronales

Imagina que intentas comprender cómo ve el mundo un robot superinteligente. Podrías pensar: "Si puedo hacerle una pregunta al robot y obtener una respuesta, la información debe estar almacenada en una dirección específica dentro de su cerebro". Los científicos han desarrollado un truco ingenioso llamado "borrado iterativo" para contar estas direcciones. Funciona así: encuentras la dirección que el robot utiliza para responder a una pregunta y luego "borras" matemáticamente esa dirección y haces la pregunta de nuevo. Si el robot todavía sabe la respuesta, borras otra dirección. Sigues contando hasta que el robot finalmente dice: "No lo sé". Se pensaba que el número de borrados realizados era la verdadera "dimensión" del concepto, como contar cuántos colores distintos se mezclan para crear un tono específico de púrpura.

Pero aquí está el truco: ¿qué pasa si el cerebro del robot no es una caja fija y rígida, sino un globo elástico que cambia de forma? Si aprietas o estiras el globo (un movimiento matemático llamado reparametrización), las direcciones dentro de él cambian sus ángulos y longitudes, aunque el robot siga sabiendo exactamente lo mismo. Este artículo se adentra en un rincón de la inteligencia artificial llamado "aprendizaje de representaciones", donde los investigadores estudian cómo los modelos de IA organizan la información. La gran pregunta es: cuando contamos cuántas veces tenemos que borrar una dirección para que la IA deje de saber algo, ¿estamos contando una característica real e inalterable del concepto, o solo estamos contando cómo resulta que el globo está estirado en ese momento exacto?

El gran experimento del globo elástico

Este artículo descorre la cortina de un método popular utilizado para medir conceptos de IA, revelando una verdad sorprendente y algo maliciosa: el conteo que obtienes depende enteramente de cómo estires los datos, no del concepto en sí.

Los autores, Tingan Jin, Shuhang Dong, Haosong Li y Chung-Hsien Chou, argumentan que el "conteo de borrado iterativo" —el número de direcciones que tienes que eliminar para que una IA olvide un concepto— no es una propiedad fija e intrínseca del conocimiento de la IA. En cambio, es un número "relativo al procedimiento", lo que significa que cambia según las herramientas matemáticas y las reglas específicas que utilices para realizar el conteo.

Para demostrarlo, construyeron un "laboratorio" matemático donde podían controlar cada variable. Crearon un escenario donde un concepto (como una simple señal de "sí/no") era generado por una sola fuente oculta. En el mundo real, esto es como un único interruptor de luz que enciende una lámpara. Sin embargo, luego aplicaron un "cizallamiento" matemático (un estiramiento inclinado) a los datos, mezclando ese único interruptor con algo de ruido aleatorio. Aunque el concepto seguía siendo generado por una sola fuente, y la IA aún podía ser "protegida" (hecha olvidar) eliminando solo una dirección, el juego de conteo de borrado dio una respuesta diferente.

Cuando utilizaron un método de conteo estándar de línea recta (euclidiano):

Si los datos eran perfectamente rectos (sin estiramiento), el contador se detuvo en 1.
Si aplicaron incluso un pequeño estiramiento (un factor de cizallamiento de solo 0.5 o 2), el contador saltó repentinamente a 2.

Es como si tuvieras un único interruptor de luz, pero si miras la habitación desde un ángulo inclinado, de repente piensas que necesitas desenchufar dos cables diferentes para apagar la luz. El artículo demuestra matemáticamente que, para un tipo específico de sonda de IA, el conteo puede saltar de 1 a 2 (o de 2 a 4 en configuraciones más complejas) simplemente cambiando el sistema de coordenadas, a pesar de que la "dimensión del concepto" subyacente nunca cambió.

La "prueba de estrés" con robots reales

Los autores no se limitaron a las matemáticas; probaron esto en modelos de IA reales y congelados que analizan vídeos e imágenes (específicamente V-JEPA2 y DINOv2). Observaron un concepto llamado "contacto mano-objeto"—básicamente, ¿está una mano tocando un objeto?

Tomaron las características internas de la IA (su estado de "cerebro") y les aplicaron diferentes estiramientos matemáticos (llamados "mapas densos"). Luego realizaron el juego de conteo de borrado nuevamente.

El Resultado: Cuando utilizaron una vista estándar, sin estiramiento, la IA parecía necesitar un cierto número de borrados para olvidar el contacto. Pero cuando estiraron los datos (usando factores como 2, 3, 5 o 10), el número de borrados requeridos para hacer que la IA "olvidara" cambió significamente.
La Prueba: En un experimento con 4,000 muestras, una configuración estándar (identidad) se detuvo tras 1 actualización en todas las 20 ejecuciones. Pero cuando aplicaron un estiramiento (un cizallamiento de 1), cada una de las 20 ejecuciones aceptó al menos 2 actualizaciones, y algunas llegaron hasta 8.

Esto demuestra que el "conteo" no es una medida estable de cuántas "variables físicas" están involucradas en el concepto. Es una medida de cómo la matemática interactúa con la forma específica de los datos.

El lado positivo: Una nueva forma de contar

El artículo no solo dice "este método está roto"; ofrece una forma de arreglar las matemáticas para que sí funcione, pero solo si se siguen reglas estrictas. Demuestran que si llevas tu "regla" (la métrica) junto con el estiramiento, el conteo permanece igual. Esto se llama "equivariancia afín".

Piénsalo así: si estiras una lámina de goma con un dibujo encima, el dibujo se distorsiona. Si usas una regla que también se estira con la goma, tus mediciones seguirán siendo precisas. Si usas una regla de metal rígida, tus mediciones serán erróneas. Los autores demuestan que si usas la "regla correcta" (una métrica transportada) y sigues los pasos correctos, el conteo se vuelve estable. Sin embargo, enfatizan que los métodos populares utilizados actualmente en el campo suelen usar la "regla de metal rígida", lo que conduce a conteos engañosos.

Qué significa esto para ti

La conclusión principal es una advertencia para cualquiera que intente contar las "dimensiones" de los pensamientos de una IA. Si ves un artículo que afirma que un concepto utiliza "docenas de direcciones" porque un algoritmo de borrado contó esa cantidad, deberías ser escéptico. Ese número podría ser simplemente un artefacto de cómo se estiraron los datos o cómo se configuró el algoritmo.

Los autores concluyen que el "conteo de borrado iterativo" no es una verdad mágica y libre de coordenadas sobre la mente de la IA. Es un resultado determinado conjuntamente por la geometría de la representación y el procedimiento completo de medición. Para obtener una respuesta real, tienes que declarar tus reglas, tu regla y tu punto de parada de antemano. Sin esos compromisos, el número que obtienes es solo un reflejo de tu propia matemática, no del secreto de la IA.

En resumen: No confíes en el conteo a menos que sepas exactamente cómo se estiró el globo.

Resumen Técnico: El conteo de borrado iterativo no es una dimensión de concepto afín-invariante

Planteamiento del problema

El artículo aborda una ambigüedad fundamental en la interpretación de la "dimensión del concepto" dentro de las representaciones neuronales. Un método operativo común para estimar cuántas direcciones utiliza una representación para codificar un concepto implica el borrado iterativo: ajustar una sonda lineal, eliminar su dirección (mediante proyección al espacio nulo), reajustar y contar el número de pasos hasta que la sonda falla. La literatura reciente ha interpretado este conteo de parada o el rango acumulado eliminado como una dimensión intrínseca, semántica, del concepto (por ejemplo, sugiriendo que un concepto está distribuido a través de "docenas" de direcciones).

Los autores argumentan que esta interpretación es errónea. Demuestran que el conteo de borrado iterativo no es una propiedad intrínseca del concepto o del contenido de información de la representación. En cambio, es un estimando relativo al procedimiento que cambia bajo reparametrizaciones invertibles (como cizallamientos o shears) que preservan todas las predicciones lineales y la información. En consecuencia, el conteo no proporciona una medida de dimensionalidad semántica libre de coordenadas.

Metodología

El artículo emplea una combinación de análisis de población teórica, simulaciones de muestra finita y estudios de caso visuales para desentrañar distintas cantidades que a menudo se confunden bajo la etiqueta de "dimensión".

Construcción de la Población Teórica:
- Los autores definen cinco cantidades distintas: dimensión generadora, dimensión lineal suficiente, rango de co-varianza cruzada, conteo de borrado iterativo y rango de guardia lineal.
- Construyen un modelo de población donde un concepto escalar $S$ genera una etiqueta $Y$ , mezclado con variables de molestia (nuisance variables) independientes $N$ a través de una matriz invertible $A$ .
- En este modelo, la dimensión lineal suficiente y el rango de guardia mínimo son fijos en 1 (o $r$ para casos multivariados), independientemente de la matriz de mezcla $A$ .
- Analizan el comportamiento del borrado iterativo bajo diferentes métricas (Euclídea vs. covarianza transportada) y esquemas de regularización (Ridge, OLS).
Análisis de Equivarianza Afín:
- El artículo demuestra que, si bien la trayectoria completa de un procedimiento de borrado puede hacerse afín-equivariante si la métrica, la sonda, el regularizador y las reglas de desempate se transportan de manera consistente, el conteo de borrado euclídeo estándar no lo es.
- Específicamente, muestran que un cizallamiento (shear) invertible cambia la trayectoria de borrado euclídeo, alterando el número de pasos requeridos para eliminar el concepto, a pesar de que la información subyacente permanece inalterada.
Experimentos de Muestra Finita y Casos Visuales:
- Puente Circular (Circular Bridge): Una simulación de muestra finita utilizando un objetivo circular (prediciendo $\sin \theta, \cos \theta$ ) con un optimizador Adam y eliminación mediante QR completo. Esto imita el procedimiento utilizado en estudios recientes de modelos de mundo de video.
- Estudio de Caso Visual: Los autores auditan características congeladas de V-JEPA2 y DINOv2 en conjuntos de datos de contacto mano-objeto (100DOH y TouchMoment). Aplican mapas anisotrópicos controlados (matrices de Hadamard con signo denso) y mapas ortogonales a las características.
- Controles: Comparan el borrado euclídeo estándar contra procedimientos que utilizan la covarianza empírica no contraída (que es afín-equivariante) y prueban la estabilidad de los resultados bajo la reestandarización de coordenadas y el ajuste de nuevos atacantes.

Contribuciones Clave

No Identificación del Conteo Iterativo:
- Teorema 1: Demuestra que para una población con un concepto de rango uno, el conteo de borrado Ridge iterativo es 1 bajo una mezcla de identidad, pero 2 bajo cualquier cizallamiento no nulo, a pesar de que la dimensión suficiente y el rango de guardia permanecen en 1.
- Teorema 2: Extiende esto a la eliminación de QR completo multivariado. Para un sistema de dos salidas, el rango de edición acumulado cambia de 2 (identidad) a 4 (dimensión ambiente) bajo cizallamiento, mientras que la dimensión suficiente permanece en 2.
Teorema de Equivarianza Afín:
- Demuestra que la trayectoria acumulada completa es afín-equivariante si y solo si la métrica, la sonda, el regularizador y las reglas de desempate se transportan de manera consistente. Esto establece que la covarianza exacta es un corolario de este teorema, no una métrica semántica única.
Pruebas de Estrés Empíricas:
- Demuestra que en entornos de muestra finita (usando Adam/QR), la separación entre la identidad y el cizallamiento se mantiene: la mezcla de identidad se detiene tras 1 actualización, mientras que los cizallamientos aceptan 2 o más actualizaciones en todas las ejecuciones.
- Muestra que en características visuales reales, la sensibilidad de las coordenadas persiste incluso después de la reestandarización de coordenadas, mientras que los mapas ortogonales (que preservan la geometría euclídea) reproducen la trayectoria de identidad.
Separación Conceptual:
- Separa rigurosamente la dimensión de la población (variables latentes), la dimensión suficiente, el rango de guardia y el conteo iterativo, argumentando que no deben reportarse bajo un mismo nombre.

Resultados

A Nivel de Población: Las pruebas teóricas confirman que el conteo entero de parada no es invariante. Un concepto de rango uno puede producir un conteo de 1 o 2 dependiendo únicamente del número de condición del sistema de coordenadas.
Puente Circular Finito: En 20 ejecuciones de gran muestra ( $n=4,000$ ), la mezcla de identidad se detuvo tras 1 actualización. Todos los cizallamientos probados ( $a \in \{0.5, \dots, 2\}$ ) aceptaron al menos 2 actualizaciones. El rango de edición acumulado alcanzó la dimensión ambiente (4) para los cizallamientos, mientras que permaneció en 2 para la identidad.
Estudio de Caso Visual:
- La aplicación de mapas anisotrópicos densos a las características de V-JEPA2 alteró significativamente la trayectoria de borrado y la accesibilidad post-edición (AUROC), incluso después de la reestandarización.
- Por el contrario, la aplicación de la covarianza empírica no contraída (que satisface la condición de equivariancia) resultó en trayectorias idénticas a través de todos los mapas.
- Los mapas ortogonales reprodujeron la trayectoria de identidad, confirmando que la sensibilidad observada es impulsada por la anisotropía, no por el ruido del solucionador o un renombrado arbitrario.
Calibración de Ajuste Cruzado (Cross-Fit): Los ediciones estimadas por la muestra pueden dejar un acceso residual sustancial para nuevos atacantes incluso cuando el rango de guardia de la población es conocido como 1, resaltando la diferencia entre los residuos de muestra finita y las propiedades de la población.

Significancia y Reivindicaciones

El artículo concluye que el conteo de borrado iterativo no es una dimensión de concepto afín-invariante. Es una cantidad determinada conjuntamente por la geometría de la representación y el procedimiento de medición específico (métrica, sonda, regularizador, regla de parada).

Reinterpretación del Trabajo Previo: Los autores no invalidan la utilidad de las sondas lineales o las representaciones editadas que producen. Sin embargo, argumentan que usar el conteo de direcciones borradas para afirmar que un concepto está "distribuido" a través de muchas dimensiones o para identificar una dimensión intrínseca es matemáticamente erróneo sin fijar la métrica y el estimando de antemano.
Reporte Defendible: El artículo aboga por reportar el procedimiento completo (métrica, pérdida, regularizador, regla de parada) y distinguir entre la dimensión generadora, la dimensión suficiente y el rango de guardia.
Alcance: Los resultados se aplican a representaciones lineales e intervenciones lineales. Los autores declaran explícitamente que no pretenden identificar la organización de conceptos no lineales, por token o causales, ni proponen un nuevo algoritmo de "borrador". El estudio visual se presenta como un caso de estudio y prueba de estrés, no como una medición definitiva de la dimensión de contacto.

En resumen, el artículo proporciona una refutación matemática y empírica rigurosa a la idea de que el número de pasos en un procedimiento de borrado iterativo revela la dimensionalidad intrínseca de un concepto neuronal, mostrando en su lugar que este número es un artefacto del sistema de coordenadas y de las elecciones algorítmicas específicas realizadas durante el análisis.