🤖 machine learning

SwordBench: Evaluating Orthogonality of Steering Image Representations

Este artículo presenta SwordBench, una evaluación integral para medir la ortogonalidad y eficacia de la manipulación de representaciones de imágenes en modelos de visión, revelando que, aunque los métodos lineales ofrecen una mejor separabilidad, a menudo no logran evitar daños colaterales en comparación con los autoencoders dispersos.

Autores originales: Vladimir Zaigrajew, Dawid Pludowski, Hubert Baniecki, Przemyslaw Biecek

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vladimir Zaigrajew, Dawid Pludowski, Hubert Baniecki, Przemyslaw Biecek

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un artista robot muy inteligente, pero ligeramente terco. Este robot es excelente dibujando imágenes, pero a veces se distrae con el fondo. Por ejemplo, si le pides que dibuje un "oso polar", es posible que solo lo dibuje correctamente si el oso está sobre hielo. Si colocas al oso sobre la hierba, el robot se confunde y piensa que es un animal diferente. Esto ocurre porque el robot aprendió un "atajo": asocia el animal con el fondo en lugar de observar al animal en sí mismo.

Para solucionar esto, los investigadores quieren "dirigir" el cerebro del robot mientras trabaja, esencialmente diciéndole: "Ignora la hierba, enfócate en el oso". Lo hacen encontrando una dirección específica en el cerebro del robot que representa "hierba" y empujando los pensamientos del robot lejos de esa dirección.

El Problema: El "Cuchillo Suizo" vs. El "Bisturí"
El artículo introduce un nuevo campo de pruebas llamado SWORDBENCH. Piensa en esto como un gigantesco campo de obstáculos diseñado para probar diferentes herramientas para dirigir a estos robots.

Anteriormente, los investigadores probaban principalmente estas herramientas de dirección en modelos de lenguaje (chatbots), lo cual es como intentar dirigir un barco hecho de niebla: es difícil saber exactamente dónde estás. Pero los modelos de visión (IA de imágenes) son más como un barco con un mapa claro. Los autores se dieron cuenta de que, aunque tenemos muchas herramientas para dirigir a estos robots de imágenes, no teníamos una manera justa de probar si realmente funcionan sin romper otras cosas.

Las Dos Grandes Pruebas
El artículo propone dos nuevas formas de medir si una herramienta de dirección es buena, utilizando algunas analogías creativas:

Robustez Transconceptual (La Prueba de la "Mano Firme"):
Imagina que estás intentando eliminar la dirección de "hierba" del cerebro del robot. Pero, ¿qué pasa si "hierba" y "verde" están enredados? Si tiras de "hierba", ¿tiras accidentalmente de "verde" también?
- La Analogía: Es como intentar desenredar dos nudos de lana. Si tiras de un nudo para enderezarlo, ¿el otro nudo se aprieta más o se desordena? Una buena herramienta de dirección debería poder eliminar la idea de "hierba" sin alterar la capacidad del robot para reconocer "verde" u otras cosas no relacionadas.
Daño Colateral (La Prueba de la "Zona Segura"):
Esta es la parte más crítica. Cuando diriges al robot para que ignore la "hierba", quieres asegurarte de no empeorar accidentalmente su capacidad para reconocer osos que ya están sobre la hierba (porque quizás esa sea la única forma en que puede verlos).
- La Analogía: Imagina que eres un cirujano extirpando un tumor (el sesgo). Quieres asegurarte de no cortar accidentalmente el corazón sano (la capacidad del robot para hacer su trabajo) en el proceso. Si el robot empeora en reconocer osos sobre la hierba después de "arreglarlo", eso es Daño Colateral. El objetivo es tener cero daño en las partes sanas.

Lo Que Descubrieron
Los investigadores probaron muchas herramientas de dirección diferentes (métodos matemáticos) en diferentes cerebros de robots (modelos como CLIP, DINOv2 y SigLIP). Esto es lo que descubrieron:

Lo simple suele ser mejor: Podrías pensar que necesitas una herramienta súper compleja y de alta tecnología (como un "Autoencoder disperso", que es como un filtro elegante y multicapa) para desenredar estas ideas. Pero el artículo encontró que herramientas matemáticas simples y antiguas (como un "SVM lineal", que es como una regla recta) a menudo funcionan tan bien, o incluso mejor, para encontrar la dirección correcta.
La herramienta "Perfecta" no existe: Algunas herramientas son excelentes para encontrar la dirección de "hierba" (alta precisión), pero son terribles para eliminarla sin dañar otras habilidades del robot (alto daño colateral). Por el contrario, algunas herramientas son muy suaves pero fallan en eliminar realmente el sesgo.
El Efecto "Hidra": En los modelos de lenguaje, si intentas arreglar una parte del cerebro, el modelo a veces desarrolla dos nuevos problemas en otros lugares (como una Hidra). Los autores descubrieron que, debido a que los modelos de imágenes tienen una estructura más clara, evitan este problema específico, lo que los hace más fáciles de probar.
La Mejor Herramienta Depende del Trabajo:
- Si el cerebro del robot es muy desordenado y complejo (como fotos del mundo real con muchas distracciones), las herramientas de optimización "elegantes" funcionan mejor.
- Si la tarea es más simple (como una prueba sintética con marcas de agua claras), las herramientas estadísticas simples funcionan perfectamente.

La Conclusión
El artículo argumenta que no podemos mirar solo un número (como "¿qué tan bien encontró el robot el sesgo?") para decir que una herramienta es buena. Tenemos que mirar el panorama completo: ¿Arregló el sesgo? ¿Arruinó otras cosas? ¿Se mantuvo firme cuando intentamos arreglar otros sesgos?

SWORDBENCH es el nuevo reglamento y campo de obstáculos que obliga a los investigadores a responder todas estas preguntas a la vez, asegurando que, cuando intentemos hacer que la IA sea más segura y justa, no rompamos accidentalmente las cosas que la hacen inteligente en primer lugar.

Resumen Técnico: SWORDBENCH

Planteamiento del Problema

Si bien la orientación de las representaciones de modelos durante la inferencia se ha convertido en una herramienta crítica para la seguridad y la interpretabilidad de la IA, especialmente para corregir predicciones sin ajuste fino, los protocolos de evaluación existentes están fuertemente sesgados hacia los modelos de lenguaje. Estas pruebas basadas en lenguaje a menudo dependen de representaciones ambiguas y de múltiples tokens, así como de métricas imperfectas de "LLM como juez", lo que introduce ruido y factores de confusión. Además, existe una falta de marcos unificados para evaluar la orientación en modelos de visión, específicamente en lo que respecta a la eliminación de sesgos (borrado de conceptos) y la evaluación de efectos de segundo orden, como si la orientación degrada inadvertidamente el rendimiento en tareas o entradas no relacionadas.

Metodología

Los autores presentan SWORDBENCH, una prueba exhaustiva diseñada para evaluar la ortogonalidad, la robustez y el posible daño colateral de la orientación de representaciones de imágenes a través de múltiples arquitecturas de visión (CLIP, SigLIP, DINOv2) y tareas de eliminación de conceptos.

Diseño de la Prueba

SWORDBENCH desplaza el dominio de evaluación desde el entorno ruidoso y distribuido en tokens de los modelos de lenguaje hacia el espacio de representación global y controlado de los transformadores de visión. El marco utiliza:

Conjuntos de datos: Cuatro conjuntos de datos reales de eliminación de sesgos (CelebA, ISIC, Waterbirds, Counteranimal) y dos conjuntos de datos sintéticos de control (ImageNet-W con marcas de agua, ImageNet-C con corrupciones) para proporcionar contrafactuales de verdad fundamental.
Métodos de extracción de CAV: Un conjunto diverso de 16 métodos categorizados en:
- Lineales estándar: Diferencia de medias, SVM, Regresión Logística, FastCAV, PatCAV, PCA, LAT, AurA.
- Basados en SAE: Métodos que aplican agregaciones estadísticas o algoritmos específicos (SAS, S&PTopK, SAE-AurA) en espacios latentes de autoencoders dispersos.
- Sondas no lineales: SVM-RBF y TabPFN para establecer límites superiores.
Intervención de orientación: La prueba emplea una ortogonalización simple ( $\bar{h} = h - (v_c^T h)v_c$ ) para eliminar las direcciones de los conceptos, evitando la necesidad de ajustar parámetros de escala ( $\alpha$ ) y asegurando una comparación justa.

Nuevas Métricas de Evaluación

Más allá de la precisión de detección estándar (AUC, F1), SWORDBENCH introduce dos métricas críticas para descubrir efectos de segundo orden de la ortogonalización:

Robustez Interconcepto (CCR): Mide la estabilidad del rendimiento de detección de un concepto objetivo después de que la entrada se ortogonaliza contra conceptos alternativos. Una CCR alta indica que el vector del concepto es funcionalmente independiente de los demás.
Daño Colateral (CD): Cuantifica la caída en el rendimiento de la tarea aguas abajo para las entradas que carecen del concepto objetivo. Idealmente, la orientación no debería alterar el rendimiento en muestras sin el concepto; un CD distinto de cero indica que el CAV está entrelazado con otras características relevantes para la tarea.
Disparidad de Orientación (SD): Para contrafactuales sintéticos, esto mide si la eliminación de un concepto de una muestra sesgada restaura la predicción para que coincida con su contraparte limpia.

Resultados Clave

Los autores presentan cinco hallazgos principales derivados de experimentos extensos:

Rendimiento Lineal vs. No Lineal: Los métodos lineales, específicamente las Máquinas de Vectores de Soporte (SVM) y la Regresión Logística (LR), logran consistentemente una precisión de detección de conceptos (AUC) y puntuaciones F1 aguas abajo comparables a sondas no lineales complejas (por ejemplo, TabPFN, SVM-RBF). Las pruebas estadísticas confirman que no hay diferencia significativa entre estos enfoques lineales y sus contrapartes no lineales en conjuntos de datos del mundo real.
Compensaciones en la Metodología:
- Los métodos basados en optimización (por ejemplo, SVM, LR) sobresalen en la desentrelazamiento (baja Similitud Máxima) y la robustez en datos complejos y del mundo real (CelebA, ISIC), pero corren el riesgo de sobreajuste en regímenes más simples.
- Los métodos estadísticos (por ejemplo, DiffMean, FastCAV) a menudo capturan direcciones globales de manera efectiva en conjuntos de datos más limpios (ImageNet-W/C), pero pueden exhibir una ortogonalidad menor en escenarios entrelazados.
- Los métodos basados en SAE generalmente requieren un filtrado riguroso (por ejemplo, S&PTopK) para recuperar la utilidad; las representaciones SAE crudas a menudo degradan el rendimiento.
Orientación Imperfecta: Si bien muchos métodos logran daño colateral cero, lograr una "orientación perfecta" (Disparidad de Orientación cero) es raro. Cabe destacar que la Tomografía Artificial Lineal (LAT) y la PCA lograron una disparidad de orientación óptima en tareas sintéticas (ImageNet-W/C), mientras que los métodos de optimización estándar a menudo no lograron una orientación perfecta a pesar de una alta separabilidad.
Insuficiencia de Métricas: Las métricas de clasificación estándar (AUC, F1) son sustitutos insuficientes para la seguridad y la fidelidad. Una alta precisión de detección no se correlaciona con un bajo daño colateral o una alta robustez interconcepto. Las métricas vectoriales (como MS) no predicen los resultados de la orientación, lo que hace necesarias los nuevos protocolos de evaluación.
Eficiencia de Muestra: Los métodos estadísticos convergen rápidamente (a menudo con $N < 100$ muestras), mientras que los métodos basados en optimización continúan mejorando con tamaños de muestra más grandes ( $N > 500$ ) en conjuntos de datos complejos.

Significado y Afirmaciones

El artículo afirma que SWORDBENCH proporciona un marco unificado y necesario para evaluar la orientación en modelos de visión, superando las limitaciones de las pruebas centradas en el lenguaje. Su contribución principal es la demostración de que la orientación no es simplemente una cuestión de encontrar un hiperplano separador; la orientación efectiva requiere evaluar la independencia funcional (CCR) y la seguridad (CD).

Los autores afirmodestamente que su trabajo:

Unifica la terminología y la evaluación de la orientación y la eliminación de sesgos en los dominios de visión y lenguaje.
Revela que las líneas base lineales estándar a menudo son suficientes para la detección de conceptos, desafiando la necesidad de sondas no lineales complejas para esta tarea específica.
Destaca que lograr una orientación "perfecta" es difícil y que una alta separabilidad no garantiza la ausencia de daño colateral.
Sirve como una prueba viva para desalentar la presentación selectiva y fomentar el desarrollo de métodos que minimicen efectos secundarios no deseados en aplicaciones de alto riesgo como el diagnóstico médico y la equidad demográfica.

El artículo no afirma resolver todos los desafíos de orientación, sino que establece un estándar riguroso para medir las compensaciones inherentes a los métodos actuales, enfatizando que la seguridad en la orientación requiere métricas más allá de la simple precisión.