Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

En el mundo de la inteligencia artificial, existe una clase creciente de modelos diseñados para observar imágenes y comprenderlas, de forma muy similar a como lo hace un ser humano. Estos sistemas, conocidos como Vision Transformers, no escanean una imagen píxel por píxel en línea recta. En su lugar, fragmentan la imagen en muchos parches cuadrados pequeños, tratando cada parche como una pieza de información distinta, o "token". El modelo luego procesa todos estos tokens juntos, ponderando cuánta atención merece cada uno para tomar una decisión final. Este enfoque es increíblemente poderoso para tareas como identificar una especie de ave específica o un modelo de coche raro, donde la diferencia entre dos categorías puede ser tan sutil como la curva de un pico o la forma de un faro. Sin embargo, debido a que estos modelos observan cada uno de los parches, pueden volverse muy lentos y computacionalmente costosos, especialmente cuando se trata de imágenes de alta resolución. Para acelerarlos, los ingenieros han desarrollado una técnica llamada poda de tokens (token pruning). Este es un método para descartar los parches menos importantes al principio del proceso, conservando solo los más relevantes para ahorrar tiempo y energía. La pregunta crítica siempre ha sido: ¿cómo decidimos cuáles son los parches más importantes?

Durante años, la forma estándar de tomar esta decisión dependió de una señal específica dentro del modelo, esencialmente pidiéndole al sistema que observe hacia dónde se siente atraído su propio "foco" de manera natural. Los investigadores asumieron que si el modelo prestaba atención a un parche, ese parche debía contener los detalles cruciales para la identificación. Sin embargo, un nuevo estudio desafía esta suposición largamente sostenida. Los investigadores descubrieron que el método utilizado para decidir qué parches conservar para ganar velocidad no es necesariamente el mismo método que asegura que el modelo esté mirando realmente las partes correctas del objeto. Encontraron que un sistema optimizado para conservar los parches que mejor coinciden con la forma física de un pájaro o un coche suele terminar tomando decisiones que son tan fiables como el sistema estándar, pero con una lógica interna completamente diferente. De hecho, los dos objetivos —conservar las partes físicas correctas y conservar la lógica correcta para la respuesta final— pueden tirar en direcciones opiles, lo que significa que la herramienta utilizada para acelerar el modelo podría estar ocultando la verdadera razón por la cual el modelo funciona.

El equipo detrás de esta investigación, basado en universidades de Ghana, se propuso probar este desencuentro utilizando la clasificación visual de grano fino, un campo dedicado a distinguir cosas muy similares, como diferentes modelos de aviones o razas de aves. Utilizaron una versión estándar y más pequeña del modelo Vision Transformer y la probaron en tres conjuntos de datos bien conocidos: imágenes de aves, coches y aviones. Su objetivo era comparar dos formas de juzgar la calidad de un sistema de poda. La primera medida analizó la "cobertura de partes" (part coverage), que simplemente comprueba si los parches que el modelo conservó realmente se superponen con las partes físicas reales del objeto, como las alas de un avión o la parrilla de un coche. La segunda medida analó la "fidelidad" (faithfulness), que comprueba si la decisión final del modelo sigue siendo la misma si ve la imagen completa o solo la versión podada. Si un método de poda es verdaderamente bueno, debería desempeñarse bien en ambos aspectos.

Los investigadores probaron varias estrategias diferentes para decidir qué parches conservar. Una estrategia utilizó la señal de "atención" estándar, que es el método por defecto que utilizan la mayoría de los sistemas hoy en día. También probaron una nueva estrategia que observaba cómo cambiaba el estado interno del modelo cuando la entrada se alteraba ligeramente, una técnica que captura una relación más profunda y directa entre la imagen y la respuesta final. Cuando realizaron los experimentos, los resultados fueron sorprendentes. La nueva estrategia, que utilizaba esta señal interna más profunda, fue significتivamente mejor en la conservación de los parches que cubrían las partes reales de los objetos. En el conjunto de datos de aviones, por ejemplo, este nuevo método mejoró la cobertura de las partes reales del avión en más de seis puntos porcentuales en comparación con el método estándar. Sin embargo, cuando comprobaron la fidelidad —la capacidad del modelo podado para tomar la misma decisión correcta que el modelo completo—, los dos métodos fueron casi idénticos. El nuevo método no hizo que el modelo fuera menos fiable; simplemente hizo que el modelo mirara las cosas correctas con más frecuencia sin cambiar su veredicto final.

Este hallazgo revela una brecha oculta en la forma en que se evalúan actualmente estos sistemas. Durante mucho tiempo, el campo ha asumido que si un método de poda mantiene la precisión del modelo, también está mirando las partes correctas de la imagen. El estudio demuestra que esto no siempre es cierto. Un sistema puede ser preciso mientras mira los parches incorrectos, o puede ser preciso mientras mira los parches correctos pero utilizando un camino interno diferente para llegar allí. Los investigadores introdujeron un nuevo marco para medir esta brecha, al que llaman "desacoplamiento" (decoupling). Descubrieron que esta brecha es más visible cuando el modelo observa la imagen en una etapa intermedia específica de su procesamiento. Si el modelo observa demasiado temprano o demasiado tarde en su cadena de procesamiento, la diferencia entre los dos métodos desaparece. También encontraron que este efecto es más fuerte cuando el modelo se ve obligado a ser muy eficiente, conservando solo una pequeña fracción de los parches originales de la imagen.

El estudio también descartó cuidadosamente la posibilidad de que estas mejoras se debieran simplemente a que el nuevo método tuviera más potencia informática o parámetros adicionales para aprender con ellos. Al comparar su nuevo método con una versión que tenía la misma capacidad adicional pero que no había sido entrenada con la señal específica nueva, confirmaron que la mejora se debió a la forma específica en que el modelo fue enseñado a mirar la imagen, y no solo a tener más herramientas. Encontraron que el método estándar, que depende de la atención natural del modelo, a menudo fallaba en capturar las partes más críticas del objeto cuando el modelo se veía obligado a ser eficiente. Por el contrario, el nuevo método seleccionaba consistentemente los parches que correspondían a las características físicas que los humanos usarían para identificar el objeto.

Este descubrimiento es importante porque cambia la forma en que debemos construir y confiar en estos sistemas de IA. Si un desarrollador quiere crear un sistema rápido para identificar especies de aves, no puede simplemente asumir que el método de poda estándar es suficiente. Podría obtener un sistema rápido que funcione, pero podría estar ignorando las mismas plumas o formas del pico que definen la especie. El estudio sugiere que, mediante el uso de una señal de entrenamiento diferente, se puede obtener un sistema que sea igual de rápido y tan preciso, pero uno que realmente esté mirando el pico y las alas del pájaro. Los investigadores enfatizan que esto no es una solución mágica que funcione para todas las situaciones; el efecto depende fuertemente del tamaño específico del modelo y de cuánto de la imagen se conserve. Sin embargo, para los tipos específicos de modelos pequeños y eficientes utilizados en muchas aplicaciones del mundo real, el nuevo enfoque ofrece un camino claro hacia un mejor rendimiento.

Los investigadores también señalaron que este fenómeno no es universal. Cuando probaron una versión mucho más grande y potente del modelo, la diferencia entre los dos métodos desapareció. Esto sugiere que el problema es específico de los modelos más pequeños y rápidos que se utilizan a menudo en aplicaciones prácticas. En estos modelos más pequeños, la forma estándar de decidir qué conservar no es tan precisa como podría serlo. El estudio proporciona un mapa claro para los ingenieros: si necesita que su modelo sea rápido y también necesita que esté mirando las partes correctas de la imagen, debe utilizar la nueva señal de entrenamiento. Si solo le importa la velocidad y la precisión final, el método antiguo podría seguir funcionando, pero está asumiendo el riesgo de que el modelo esté tomando sus decisiones por las razones equivocadas.

En última instancia, este trabajo aporta un nuevo nivel de claridad al campo de la visión por computador. Demuestra que la eficiencia y la explicabilidad no siempre son lo mismo. Un modelo puede ser eficiente sin ser transparente, y puede ser transparente sin ser eficiente. Al separar estos dos objetivos, los investigadores han dado a la comunidad científica una mejor manera de medir y mejorar estos sistemas. Han demostrado que, con el entrenamiento adecuado, podemos tener ambas cosas: un sistema que es lo suficientemente rápido para ejecutarse en un teléfono, lo suficientemente preciso para identificar un ave rara y lo suficientemente honesto como para mostrarnos exactamente qué parte del ave está mirando. Este es un paso significativo hacia la creación de una inteligencia artificial que no solo sea poderosa, sino también comprensible y fiable.