💻 computer science

Circuit Fine-Tuning for Compute-Efficient Transformer Adaptation

Este artigo introduz o Circuit Fine-Tuning (CFT), um framework de eficiência computacional que utiliza a descoberta de circuitos com uma cabeça de sonda de inicialização quase nula para identificar e ajustar finamente apenas o subgrafo mais relevante de um Vision Transformer, alcançando o pico de acurácia significativamente mais rápido do que baselines de eficiência de parâmetros, enquanto não adiciona parâmetros ou sobrecarga de inferência.

Autores originais: Uri Z. Kialy, Gil Ben-Artzi

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Uri Z. Kialy, Gil Ben-Artzi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro robótico massivo e superinteligente que já leu quase todos os livros da biblioteca. Ele sabe como reconhecer gatos, carros e nuvens perfeitamente. Mas agora, você quer ensinar a ele um novo truque: identificar um tipo específico de cogumelo raro. O jeito antigo de fazer isso era pegar o cérebro inteiro, abri-lo e retreinar cada neurônio para aprender sobre cogumelos. Funcionava muito bem, mas era como tentar repintar um arranha-céu inteiro apenas para mudar a cor de uma janela — levava uma eternidade, custava uma fortuna em eletricidade e era um enorme desperdício de esforço.

Cientistas tentaram recentemente um atalho chamado "Ajuste Fino de Parâmetros Eficientes" (PEFT). A ideia era: "Por que repintar o prédio inteiro? Vamos apenas adicionar alguns novos adesivos ou ajustar uma pequena porcentagem da tinta". Isso economizou dinheiro no número de mudanças, mas havia um porém. Mesmo que você mudasse apenas 3% do cérebro, o computador ainda tinha que passar o cérebro inteiro por seus testes durante centenas de rodadas para acertar. Era como dirigir um carro de corrida com apenas uma roda virada; você ainda está queimando combustível em velocidade máxima, apenas não está tanto o volante. A grande questão tornou-se: Podemos parar de desperdiçar tempo e eletricidade descobrindo exatamente quais partes do cérebro realmente precisam aprender o novo truque e deixar o resto em paz?

É aqui que o novo artigo, "Circuit Fine-Tuning" (CFT), entra em cena. Os autores, Uri Z. Kialy e Gil Ben-Artzi, propõem uma nova maneira inteligente de adaptar esses modelos gigantes de IA. Em vez de adivinhar quais partes ajustar ou apenas adicionar novos adesivos, eles usam uma técnica chamada "descoberta de circuito" para encontrar os caminhos específicos e ocultos dentro da IA que já são bons em lidar com a nova tarefa.

Aqui está o truque de mágica: Antes mesmo de a IA começar a aprender a nova tarefa, os pesquisadores aplicam um teste de "quase zero". Imagine dar à IA uma tela em branco e perguntar: "Se eu te mostrasse um cogumelo agora, quais partes do seu cérebro se acenderiam?". Como o teste é configurado de modo que a IA ainda não tenha opiniões fortes, ele revela os caminhos naturais e brutos que o cérebro usa para processar esse tipo específico de imagem. Os pesquisadores então mapeiam este "circuito" — um subgrafo específico da rede da IA — e congelam todo o resto. Eles permitem que apenas essas partes específicas, pré-identificadas, aprendam.

Os resultados são surpreendentemente rápidos. Enquanto outros métodos podem precisar que a IA passe por 44 a 96 rodadas (épocas) de treinamento para atingir o desempenho máximo, este novo método encontra seu ritmo em cerca de 20 rodadas. Essa é uma diferença enorme. Em termos de poder computacional bruto, o CFT usa de 2,3 a 6,6 vezes menos energia (medida em FLOPs de treinamento) e leva até 16 vezes menos tempo de relógio real. E o melhor de tudo? Não adiciona nenhuma parte nova à IA nem a torna mais lenta quando você a utiliza de fato mais tarde. É como perceber que você não precisa reconstruir o motor para vencer a corrida; você só precisava saber quais engrenagens mudar.

Os pesquisadores testaram isso em uma ampla variedade de desafios, desde conjuntos de dados de imagens padrão até complexos raios-X médicos e até um modelo de visão-linguagem (uma IA que vê e fala). Em quase todos os casos, o CFT alcançou o topo do ranking com uma fração do esforço. Eles descobriram que os "circuitos" necessários para diferentes tarefas são únicos; o caminho para reconhecer um pássaro é totalmente diferente do caminho para detectar um tumor. Isso prova que a ideia antiga de "apenas ajustar algumas partes aleatórias" não é a maneira mais eficiente de ir. Ao ouvir a resposta natural da IA aos dados antes mesmo do treinamento começar, o CFT nos mostra como treinar de forma mais inteligente, rápida e com menos desperdício.

Resumo Técnico: Ajuste Fino de Circuito para Adaptação de Transformers com Eficiência Computacional

1. Definição do Problema

Embora o Ajuste Fino de Parâmetros Eficientes (PEFT) tenha se tornado o padrão para adaptar Vision Transformers (ViTs) a tarefas de domínio específico, o campo tem amplamente confundido eficiência de parâmetros com eficiência computacional. Os autores argumentam que reduzir o número de parâmetros treináveis não reduz necessariamente o custo computacional (FLOPs) ou o tempo de execução (wall-clock time) necessário para atingir o pico de precisão.

Os métodos atuais de PEFT (aditivos ou baseados em sensibilidade) frequentemente exigem cronogramas de treinamento longos (44–96 épocas) para convergir. Como o custo de uma iteração de treinamento é dominado pelas passagens de forward e gradientes de ativação — que permanecem constantes independentemente de quantos poucos parâmetros são atualizados — a convergência lenta é o principal gargalo. O artigo postula que o fator dominante no ajuste fino eficiente não é a contagem de parâmetros, mas a velocidade de convergência (épocas até o pico de precisão).

2. Metodologia: Ajuste Fino de Circuito (CFT)

Os autores propõem o Ajuste Fino de Circuito (Circuit Fine-Tuning - CFT), um framework de duas fases projetado para identificar e atualizar apenas o subgrafo (circuito) específico de um modelo pré-treinado que é mais responsivo a uma distribuição alvo. Diferente do PEFT tradicional, o CFT não introduz novos parâmetros e não requer mudanças arquitetônicas.

Fase 1: Descoberta de Circuito Consciente da Distribuição

Antes do início do treinamento, o CFT identifica quais módulos (cabeças de atenção e blocos MLP) são críticos para a tarefa alvo.

Mecanismo: O método utiliza Atribuição de Patch de Atribuição de Arestas com Gradientes Integrados (EAP-IG).
Cabeça de Sonda Inovadora: Em vez de atribuir a importância contra uma cabeça de tarefa treinada (que reflete preferências do classificador), o CFT substitui a cabeça de classificação por uma cabeça de sonda com inicialização próxima de zero ( $\sigma = 10^{-5}$ $σ = 1 0^{- 5}$ ).
- Razão: Uma inicialização aleatória padrão cria preferências de classe fortes e arbitrárias que distorcem os escores de atribuição. A inicialização próxima de zero suprime essas preferências, garantindo que os escores de atribuição reflitam a resposta intrínseca do backbone à distribuição alvo, em vez do viés da sonda.
- Resultado: Isso permite que uma única extração da sonda ( $R=1$ ) gere máscaras estáveis, evitando a necessidade de ensembles dispendiosos.
Estratégia de Seleção: O método calcula escores de importância agregados sobre um pequeno lote de calibração ( $N=32$ ). Os nós são normalizados por sua contagem de parâmetros para evitar viés em direção a módulos maiores. Um algoritmo ganancioso seleciona os principais nós até que um orçamento de parâmetros alvo (ex: 15% dos parâmetros do backbone) seja atingido, garantindo cobertura total de camadas onde for possível.

Fase 2: Adaptação de Circuito Esparso

Treinamento: Apenas os parâmetros dentro do subgrafo descoberto (o "circuito") e a nova cabeça de classificação são atualizados. Todos os outros parâmetros do backbone permanecem congelados.
Otimização: O CFT utiliza um cronograma de taxa de aprendizado de cosseno sem warmup. Os autores demonstram que o warmup não oferece benefício para o CFT, ao contrário de outros métodos como o SSF.
Inferência: Como o CFT apenas modifica valores de pesos existentes, a arquitetura de inferência, as formas dos tensores e o grafo computacional permanecem idênticos ao modelo original. Isso garante latência de inferência 1× e total compatibilidade com ferramentas de implantação padrão (ex: FlashAttention, TensorRT).

3. Principais Contribuições

Desacoplamento de Eficiência de Parâmetros e Computação: O artigo demonstra analiticamente e empiricamente que a contagem de parâmetros é um mau indicador para o computacional de treinamento. Ele defende o computo-para-precisão (FLOPs cumulativos e tempo de execução) como uma métrica primária de eficiência.
Ajuste Fino de Circuito (CFT): Um método inovador que operacionaliza a interpretabilidade mecânica (descoberta de circuito) como um seletor de pré-treinamento. Ao usar uma cabeça de sonda com inicialização próxima de zero, ele isola a resposta do backbone à distribuição alvo, permitindo a seleção de um circuito de adaptação antes de qualquer treinamento baseado em gradiente.
Validação Empírica: O CFT é avaliado em diversos backbones (ViT-B/16, Swin-v2-B, DINOv2, Gemma-3-4B-IT) e benchmarks (VTAB-1k, CBIS-DDSM, visão-linguagem).

4. Resultados Experimentais

Os autores relatam resultados em vários benchmarks, destacando a velocidade de convergência e a eficiência computacional superiores do CFT:

VTAB-1k (19 Tarefas):
- Convergência: O CFT atinge o pico de precisão em ~20 épocas em média. Fortes baselines de PEFT (ex: SSF, SPT, GPS) exigem 44–96 épocas.
- Eficiência Computacional: O CFT atinge o pico de precisão com 2,3–6,6× menos FLOPs de treinamento e até 16× menos tempo de execução em comparação com os baselines.
- Precisão: O CFT chega a dentro de 0,7 pontos do baseline mais forte (GPS) enquanto utiliza significativamente menos computação. Sob orçamentos curtos fixos (ex: 10–35 épocas), o CFT supera consistentemente todos os baselines.
CBIS-DDSM (Imagem Médica):
- Em um cenário de mudança de domínio com um orçamento fixo de 5 épocas, o CFT atinge a maior precisão e AUC através de três diferentes backbones (ViT-B/16, Swin-v2-B, DINOv2), superando o Ajuste Fino Total (Full Fine-Tuning) e outros métodos de PEFT.
Modelo Visão-Linguagem (Gemma-3 no CUB-200):
- Em um estudo de viabilidade, o CFT (atualizando 17% dos parâmetros) alcançou 71,3% de precisão Top-1 em 5 épocas, superando tanto o LoRA (atualizando ~0,5%) quanto o Ajuste Fino Total (100%). Isso sugere que concentrar as atualizações em módulos selecionados por atribuição é mais eficaz do que a adaptação de baixo rank uniforme ou atualizações totais sob orçamentos curtos.

5. Significância e Alegações

O artigo afirma que o Ajuste Fino de Circuito representa uma mudança da otimização de orçamentos de parâmetros para a otimização de orçamentos de computação. Ao alavancar a interpretabilidade mecânica para pré-selecionar o subgrafo computacional mais relevante para uma distribuição específica, o CFT elimina a necessidade de longos cronogramas de treinamento e warmup de taxa de aprendizado.

Os autores enfatizam que sua abordagem:

Adiciona zero parâmetros e zero operações de inferência.
Não requer modificações arquitetônicas, garantindo implantação contínua.
Alcança eficiência computacional de estado da arte, atingindo alta precisão com uma fração do custo de treinamento exigido pelos padrões atuais de PEFT.

O trabalho sugere que o "circuito" responsável por uma tarefa não é um conjunto universal de pesos, mas um subgrafo condicionado à tarefa que pode ser recuperado eficientemente via atribuição contra uma sonda neutra, permitindo uma adaptação rápida e eficiente de grandes modelos de fundação.