Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

No mundo da inteligência artificial, há uma classe crescente de modelos projetados para olhar para imagens e compreendê-las, de forma muito semelhante a um ser humano. Esses sistemas, conhecidos como Vision Transformers, não escaneiam uma imagem pixel por pixel em linha reta. Em vez disso, eles fatiam a imagem em muitos pequenos pedaços quadrados, tratando cada um desses pedaços como uma informação distinta, ou "token". O modelo então processa todos esses tokens juntos, pesando quanta atenção cada um merece para tomar uma decisão final. Essa abordagem é incrivelmente poderosa para tarefas como identificar uma espécie específica de pássaro ou um modelo de carro raro, onde a diferença entre duas categorias pode ser tão sutil quanto a curva de um bico ou o formato de um farol. No entanto, como esses modelos olham para cada um dos pedaços, eles podem se tornar muito lentos e computacionalmente caros, especialmente ao lidar com imagens de alta resolução. Para acelerá-los, engenheiros desenvolveram uma técnica chamada poda de tokens (token pruning). Este é um método de descartar os pedaços menos importantes precocemente no processo, mantendo apenas os mais relevantes para economizar tempo e energia. A questão crítica sempre foi: como decidimos quais pedaços são os mais importantes?

Por anos, a forma padrão de tomar essa decisão baseou-se em um sinal específico dentro do modelo, essencialmente pedindo ao sistema que olhasse para onde seu próprio "foco" era naturalmente atraído. Pesquisadores assumiram que, se o modelo estava prestando atenção a um pedaço, esse pedaço deveria conter os detalhes cruciais para a identificação. Um novo estudo desafia essa suposição de longa data. Os pesquisadores descobriram que o método usado para decidir quais pedaços manter para ganhar velocidade não é necessariamente o mesmo método que garante que o modelo esteja realmente olhando para as partes certas do objeto. Eles descobriram que um sistema otimizado para manter os pedaços que melhor correspondem à forma física de um pássaro ou de um carro acaba tomando decisões que são tão confiáveis quanto o sistema padrão, mas com uma lógica interna completamente diferente. De fato, os dois objetivos — manter as partes físicas corretas e manter a lógica correta para a resposta final — podem puxar em direções diferentes, o que significa que a ferramenta usada para acelerar o modelo pode estar escondendo o verdadeiro motivo pelo qual o modelo está funcionando.

A equipe por trás desta pesquisa, baseada em universidades de Gana, propôs-se a testar esse descompasso usando a classificação visual de grão fino (fine-grained visual classification), um campo dedicado a distinguir coisas muito semelhantes, como diferentes modelos de aeronaves ou raças de pássaros. Eles utilizaram uma versão padrão e menor do modelo Vision Transformer e testaram em três conjuntos de dados bem conhecidos: imagens de pássaros, carros e aeronaves. O objetivo era comparar duas formas de julgar a qualidade de um sistema de poda. A primeira medida observava a "cobertura de partes" (part coverage), que simplesmente verifica se os pedaços que o modelo manteve realmente se sobrepõem às partes físicas reais do objeto, como as asas de um avião ou a grade de um carro. A segunda medida observava a "fidelidade" (faithfulness), que verifica se a decisão final do modelo permanece a mesma, quer ele veja a imagem completa ou apenas a versão podada. Se um método de poda for realmente bom, ele deve se sair bem em ambos os aspectos.

Os pesquisadores testaram várias estratégias diferentes para decidir quais pedaços manter. Uma estratégia utilizou o sinal de "atenção" padrão, que é o método de decisão utilizado pela maioria dos sistemas atuais. Eles também testaram uma nova estratégia que observava como o estado interno do modelo mudava quando a entrada era ligeiramente alterada, uma técnica que captura uma relação mais profunda e direta entre a imagem e a resposta final. Quando executaram os experimentos, os resultados foram surpreendentes. A nova estratégia, que utilizava este sinal interno mais profundo, foi significativamente melhor em manter os pedaços que cobriam as partes reais dos objetos. No conjunto de dados de aeronaves, por exemplo, este novo método melhorou a cobertura das partes reais do avião em mais de seis pontos percentuais em comparação com o método padrão. No entanto, quando verificaram a fidelidade — a capacidade do modelo podado de tomar a mesma decisão correta que o modelo completo — os dois métodos foram quase idênticos. O novo método não tornou o modelo menos confiável; ele simplesmente fez o modelo olhar para as coisas certas com mais frequência, sem alterar seu veredito final.

Esta descoberta revela uma lacuna oculta na forma como esses sistemas são atualmente avaliados. Por muito tempo, o campo assumiu que, se um método de poda mantém a precisão do modelo, ele também está olhando para as partes corretas da imagem. O estudo mostra que isso nem sempre é verdade. Um sistema pode ser preciso enquanto olha para os pedaços errados, ou pode ser preciso enquanto olha para os pedaços certos, mas utilizando um caminho interno diferente para chegar lá. Os pesquisadores introduziram um novo framework para medir essa lacuna, que chamam de "desacoplamento" (decoupling). Eles descobriram que essa lacuna é mais visível quando o modelo observa a imagem em um estágio intermediário específico de seu processamento. Se o modelo observar cedo demais ou tarde demais em sua cadeia de processamento, a diferença entre os dois métodos desaparece. Eles também descobriram que esse efeito é mais forte quando o modelo é forçado a ser muito eficiente, mantendo apenas uma pequena fração dos pedaços originais da imagem.

O estudo também descartou cuidadosamente a possibilidade de que essas melhorias fossem simplesmente devidas ao fato de o novo método possuir mais poder computacional ou parâmetros extras para aprender. Ao comparar seu novo método contra uma versão que possuía a mesma capacidade extra, mas não havia sido treinada com o sinal específico, eles confirmaram que a melhoria veio da forma específica como o modelo foi ensinado a olhar para a imagem, e não apenas por ter mais ferramentas. Eles descobriram que o método padrão, que depende da atenção natural do modelo, frequentemente falhava em capturar as partes mais críticas do objeto quando o modelo era forçado a ser eficiente. Em contraste, o novo método selecionava consistentemente os pedaços que correspondiam às características físicas que os humanos usariam para identificar o objeto.

Esta descoberta é importante porque muda a forma como devemos construir e confiar nesses sistemas de IA. Se um desenvolvedor deseja criar um sistema rápido para identificar espécies de pássaros, não pode simplesmente assumir que o método de poda padrão é suficiente. Ele pode obter um sistema rápido que funciona, mas que pode estar ignorando justamente as penas ou os formatos de bico que definem a espécie. O estudo sugere que, ao usar um sinal de treinamento diferente, podemos obter um sistema que é tão rápido e tão preciso quanto o anterior, mas que está realmente olhando para o bico e as asas do pássaro. Os pesquisadores enfatizam que isso não é uma solução mágica que funciona para todas as situações; o efeito depende fortemente do tamanho específico do modelo e de quanto da imagem é mantido. No entanto, para os tipos específicos de modelos pequenos e eficientes usados em muitas aplicações do mundo real, a nova abordagem oferece um caminho claro para um melhor desempenho.

Os pesquisadores também observaram que este fenôamento não é universal. Quando testaram uma versão muito maior e mais poderosa do modelo, a diferença entre os dois métodos desapareceu. Isso sugere que o problema é específico das restrições de modelos menores e mais rápidos, que são frequentemente usados em aplicações práticas. Nesses modelos menores, a forma padrão de decidir o que manter não é tão precisa quanto poderia ser. O estudo fornece um mapa claro para engenheiros: se você precisa que seu modelo seja rápido e também precisa que ele esteja olhando para as partes certas da imagem, você deve usar o novo sinal de treinamento. Se você só se importa com a velocidade e a precisão finais, o método antigo ainda pode funcionar, mas você estará correndo o risco de que o modelo esteja tomando suas decisões por motivos errados.

Em última análise, este trabalho traz um novo nível de clareza ao campo da visão computacional. Ele mostra que eficiência e explicabilidade nem sempre são a mesma coisa. Um modelo pode ser eficiente sem ser transparente, e pode ser transparente sem ser eficiente. Ao separar esses dois objetivos, os pesquisadores deram à comunidade científica uma maneira melhor de medir e melhorar esses sistemas. Eles mostraram que, com o treinamento adequado, podemos ter o melhor dos dois mundos: um sistema que é rápido o suficiente para rodar em um celular, preciso o suficiente para identificar um pássaro raro e honesto o suficiente para nos mostrar exatamente qual parte do pássaro ele está observando. Este é um passo significativo para tornar a inteligência artificial não apenas poderosa, mas também compreensível e confiável.