🤖 machine learning

KLAS: Using Similarity to Stitch Neural Networks for Improved Accuracy-Efficiency Tradeoffs

O artigo apresenta o KLAS, um novo framework que automatiza e otimiza a costura de redes neurais pré-treinadas, aproveitando a divergência KL para identificar as representações intermediárias mais similares, melhorando assim significativamente os tradeoffs entre precisão e eficiência em comparação com abordagens existentes baseadas em heurísticas.

Autores originais: Debopam Sanyal, Anantharaman Iyer, Alind Khare, Trisha Jain, Akshay Jajoo, Myungjin Lee, Clayton Kerce, Alexey Tumanov

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Debopam Sanyal, Anantharaman Iyer, Alind Khare, Trisha Jain, Akshay Jajoo, Myungjin Lee, Clayton Kerce, Alexey Tumanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de robôs pré-construídos. Alguns são pequenos e rápidos, mas não muito inteligentes (como um robô de brinquedo). Outros são enormes, lentos e incrivelmente inteligentes (como um supercomputador). Geralmente, se você precisa de um robô "na medida certa" — inteligente o suficiente para fazer um bom trabalho, mas rápido o suficiente para funcionar com bateria —, você precisa construir um novo do zero. Isso consome muito tempo, dinheiro e energia.

Há alguns anos, cientistas descobriram um atalho: Costura. Em vez de construir um robô novo, você poderia pegar os "olhos" do robô pequeno e o "cérebro" do robô grande e costurá-los juntos. Você obtém um robô híbrido que fica em algum lugar no meio.

No entanto, havia um grande problema com esse método de costura. As pessoas que faziam a costura estavam usando regras práticas ruins. Elas simplesmente diziam: "Vamos costurar o segundo olho do robô pequeno ao segundo cérebro do robô grande" ou "Vamos conectar apenas robôs que são semelhantes em tamanho". Elas não verificavam realmente se essas peças realmente se encaixavam. Às vezes, as peças colidiam, e o novo robô não funcionava bem.

Aí entra o KLAS.

Os autores deste artigo, o KLAS, são como um alfaiate mestre que não chuta. Em vez disso, eles usam uma ferramenta especial chamada Divergência KL (pense nela como um "scanner de compatibilidade") para medir exatamente o quão semelhantes são os pensamentos de uma parte de robô em relação a outra.

Veja como o KLAS funciona, dividido em etapas simples:

1. O Problema da Costura por "Vizinho Mais Próximo"

Imagine que você está tentando combinar meias. O método antigo (chamado SN-Net) dizia: "Basta combinar as meias que estão mais próximas umas das outras na prateleira".

O Defeito: Às vezes, uma meia vermelha brilhante (um modelo pequeno) combina perfeitamente com uma meia azul-escura (um modelo grande) porque são feitas do mesmo tecido, mesmo que estejam longe uma da outra na prateleira. O método antigo perdia essas combinações perfeitas porque olhava apenas para a distância, não para a qualidade.

2. O "Scanner de Compatibilidade" do KLAS

O KLAS usa um conceito matemático chamado Divergência KL. Imagine que você tem duas pessoas conversando.

Método Antigo: Verifica se elas estão paradas uma ao lado da outra.
KLAS: Escuta o que elas estão dizendo. Ele pergunta: "Se a Pessoa A fala, a Pessoa B entende perfeitamente o tom e o significado?"
Se a resposta for "Sim" (baixa divergência KL), o KLAS sabe que essas duas partes funcionarão bem juntas. Se a resposta for "Não" (alta divergência KL), o KLAS sabe que elas entrarão em conflito.

3. A Magia do "ProbeNet"

Para verificar essa compatibilidade sem costurar primeiro os robôs juntos (o que seria lento e caro), o KLAS usa um truque inteligente chamado ProbeNet.

Imagine que você quer saber se um motor de carro se encaixa em um novo chassi. Em vez de parafusá-los e tentar dirigir, você conecta um sensor minúsculo e temporário ao motor. Esse sensor verifica rapidamente se a saída do motor corresponde ao que o chassi espera.
O KLAS faz isso com "sondas lineares". Ele coloca uma camada de teste minúscula e temporária nos modelos pré-treinados para ver como eles "pensam". Isso leva quase nenhum tempo e custa quase nada.

4. O Resultado: Um Encaixe Perfeito

Usando esse scanner, o KLAS pode encontrar as combinações melhores possíveis, não apenas as "mais próximas".

A Alegação: Em seus testes, o KLAS encontrou combinações que eram mais precisas (mais inteligentes) do que o método antigo, usando a mesma quantidade de poder de computação.
Ou: Encontrou combinações que eram tão inteligentes quanto, mas usavam menos energia (economizando bateria e dinheiro).

Exemplos do Mundo Real do Artigo

Os autores testaram isso em:

Reconhecimento de Imagem: Tornando computadores melhores em identificar gatos, cachorros e carros. Eles costuraram diferentes versões dos modelos "Swin" e "DeiT". O KLAS descobriu que, às vezes, conectar o modelo menor diretamente ao maior (pulando o do meio) funcionava melhor do que o método antigo "passo a passo".
Tarefas Médicas/Mapas: Eles até tentaram em "Segmentação Semântica" (como um mapa que colora cada pixel de uma foto para mostrar o que é). O KLAS produziu mapas melhores com o mesmo orçamento de computação.
Modelos de Linguagem: Eles testaram em Modelos de Linguagem Grandes (como os que escrevem texto). O KLAS encontrou melhores maneiras de misturar um modelo de linguagem pequeno com um grande, tornando o resultado mais inteligente e mais verdadeiro do que o antigo método de "contagem de camadas".

A Conclusão

O artigo argumenta que não precisamos construir novos modelos de IA do zero para obter o equilíbrio perfeito entre velocidade e inteligência. Precisamos apenas parar de adivinhar quais partes costurar. Ao usar um "scanner de compatibilidade" (Divergência KL) para ouvir como as partes pensam, podemos costurar automaticamente a IA híbrida perfeita para qualquer trabalho, economizando tempo, dinheiro e energia.

Em resumo: O KLAS é o alfaiate inteligente que mede o tecido antes de cortar, garantindo que o terno final caia perfeitamente, enquanto o método antigo apenas adivinhava com base em onde o tecido estava pendurado no guarda-roupa.

Resumo Técnico: KLAS - Usando Similaridade para Costurar Redes Neurais para Melhores Compensações entre Precisão e Eficiência

1. Declaração do Problema

A implantação de grandes transformadores de visão pré-treinados (ViTs) e redes neurais convolucionais (CNNs) enfrenta um desafio fundamental: ambientes diversos variam de servidores em nuvem poderosos a dispositivos de borda com recursos limitados, exigindo seleção flexível de modelos dentro de orçamentos computacionais específicos. Embora a Busca de Arquitetura Neural (NAS) tente equilibrar precisão e eficiência, a NAS tradicional um-para-um é computacionalmente proibitiva, e as abordagens um-para-muitos ou zero-shot de NAS são frequentemente limitadas a um único espaço de design de modelo, falhando em aproveitar o rico conjunto de modelos pré-treinados existentes.

A costura de modelos oferece uma alternativa promissora, combinando blocos de diferentes modelos "âncora" pré-treinados para criar redes interpoladas. No entanto, as abordagens existentes de costura muitos-para-muitos, como SN-Net, dependem de heurísticas ingênuas (por exemplo, "costura mais próxima" de âncoras adjacentes ou pareamento fixo de blocos) para selecionar configurações de costura. Essas heurísticas frequentemente produzem compensações subótimas entre precisão e eficiência e carecem de generalização entre diversas famílias de modelos. Além disso, o espaço de busca para configurações de costura é vasto ( $O(k^2n^2)$ para $k$ modelos de profundidade $n$ ), tornando a busca exaustiva inviável. O problema central é a falta de um método principiado e automatizado para identificar configurações de costura compatíveis que maximizem o desempenho sem incorrer em altos custos de treinamento.

2. Metodologia: O Framework KLAS

Os autores propõem o KLAS (Costura de Âncora baseada em Divergência KL), um framework que automatiza a seleção de costuras aproveitando a similaridade entre representações intermediárias de modelos pré-treinados.

Conceito Central: Divergência KL como Métrica de Similaridade

O KLAS postula que a costura bem-sucedida depende tanto da similaridade representacional (alinhamento geométrico das ativações) quanto da similaridade funcional (preservação de informações relevantes para a tarefa e limites de decisão). Os autores argumentam que a divergência de Kullback-Leibler (KL) é singularmente adequada para capturar ambos:

Alinhamento Representacional: Quantifica a distância estatística entre distribuições de ativação, indicando se uma transformação leve pode mapear ativações de origem para ativações de destino.
Alinhamento Funcional: Avalia o quão bem as saídas de um bloco de origem preservam os limites de decisão do modelo de destino, garantindo que a rede costurada mantenha o desempenho da tarefa downstream com mínimo ajuste fino.

Diferentemente de métricas como Alinhamento de Kernel Centralizado (CKA), Erro Quadrático Médio (MSE) ou Entropia Cruzada (CE), que frequentemente falham em prever o sucesso da costura, a divergência KL mede diretamente a compatibilidade das distribuições de probabilidade geradas por sondas lineares.

O Algoritmo KLAS

O framework opera em duas etapas principais:

Seleção de Âncora:
- O KLAS calcula a divergência KL entre as distribuições de probabilidade softmax dos últimos blocos de modelos pré-treinados candidatos.
- Modelos com baixa divergência KL do último bloco são considerados âncoras compatíveis, pois compartilham limites de decisão e distribuições de confiança de classe semelhantes. Isso substitui a heurística de "costura mais próxima" usada em trabalhos anteriores.
Seleção de Blocos:
- Uma vez selecionadas as âncoras, o KLAS avalia pares de blocos usando uma pontuação de costura $\Gamma(i, j)$ definida como:
  $\Gamma(i, j) = \frac{\Theta(P^f_i, P^g_j)}{\Theta(P^g_j, P^g_{j+1})}$
  Onde:
  - $\Theta(P^f_i, P^g_j)$ é a distância de ativação entre âncoras (divergência KL entre o bloco de origem $i$ e o bloco de destino $j$ ).
  - $\Theta(P^g_j, P^g_{j+1})$ é a capacidade intra-bloco da âncora (divergência KL entre blocos consecutivos na âncora de destino).
- Essa pontuação equilibra o ônus de transformação na camada de costura hipotética contra a capacidade do bloco de destino de absorver diferenças distribucionais.
- ProbeNet: Para calcular essas pontuações eficientemente sem treinar camadas de costura completas, o KLAS emprega uma arquitetura unificada chamada ProbeNet. Ela anexa sondas de classificador linear a cada bloco dos modelos âncora e as treina conjuntamente em uma única passagem direta e retroativa. Isso incorre em um custo único negligenciável (por exemplo, 0,25 dias de GPU para Swin-B) em comparação com o treinamento de sondas individuais.
Seleção de Configuração:
- Configurações de costura candidatas são filtradas com base em um limiar ajustável $\tau$ em relação à pontuação mínima dentro de buckets de FLOPs. Isso garante uma frente de Pareto densa de modelos implantáveis em todo o espectro de precisão-eficiência.

3. Contribuições Principais

Identificação de Limitações Heurísticas: O artigo demonstra que heurísticas ingênuas (como as do SN-Net) não são universalmente ótimas, frequentemente perdendo configurações de costura "longínqua" superiores (por exemplo, conectar Swin-Ti diretamente a Swin-B) que as heurísticas ignoram.
Métrica de Similaridade Principiada: A introdução da divergência KL como métrica para seleção de costura que captura tanto o alinhamento representacional quanto o funcional sem exigir a instanciação ou treinamento de camadas de costura.
Framework KLAS: Um framework generalizável e de baixo custo que automatiza a seleção de âncoras e blocos entre diversas famílias de modelos (ViTs, CNNs e LLMs).
Validação Empírica: Experimentos abrangentes mostrando melhorias consistentes sobre linhas de base em múltiplos conjuntos de dados (ImageNet-1K, CIFAR-100, ADE20K, TruthfulQA) e arquiteturas.

4. Resultados Experimentais

Os autores avaliaram o KLAS contra SN-Net e outras linhas de base sob condições idênticas de ajuste fino (50 épocas para visão, 10 épocas para LLMs).

Compensações entre Precisão e Eficiência:
- ImageNet-1K: O KLAS alcança até 1,21% de precisão Top-1 superior no mesmo custo computacional ou uma redução de 1,33× em FLOPs com precisão equivalente em comparação ao SN-Net.
- Pontuações AUC: Na família Swin, o KLAS alcançou uma Área sob a Curva (AUC) de 0,8950, superando significativamente o SN-Net (0,8345) e outras métricas de similaridade como CKA (0,8124).
- Entre Arquiteturas: O KLAS costurou com sucesso ResNet-18 com Swin-B, superando linhas de base de inferência em cascata em 2-3% de precisão Top-1 com FLOPs semelhantes.
Predição Densa (Segmentação Semântica):
- No ADE20K usando Mask2Former, as costuras selecionadas pelo KLAS alcançaram até +0,9% mIoU sobre as linhas de base SN-Net com orçamentos de FLOPs comparáveis.
Modelos de Linguagem de Grande Escala (LLMs):
- Usando âncoras Llama 1B e 3B no benchmark TruthfulQA, os modelos costurados pelo KLAS superaram o ESTA (um método de costura de LLM baseado em heurísticas) em até 0,017 ROUGE-1 e 0,033 ROUGE-2, apesar de terem menos parâmetros em algumas configurações.
Eficácia da Métrica:
- A divergência KL recuperou com sucesso 88,9% das configurações de costura Swin Ti-B viáveis, enquanto o CKA recuperou apenas 5,5% e as heurísticas do SN-Net 61,1%.

5. Significado e Alegações

O artigo alega que o KLAS aborda a lacuna crítica na costura de modelos, substituindo heurísticas ad-hoc por uma abordagem principiada e orientada por similaridade. Seu significado reside em:

Generalização: Funciona entre diversas famílias arquitetônicas (Transformers, CNNs, Híbridos) e modalidades (Visão, Linguagem), superando as limitações de métodos restritos a famílias únicas.
Eficiência de Custos: Gera uma frente de Pareto contínua de modelos implantáveis com sobrecarga computacional adicional negligenciável (apenas treinamento de sondas e ajuste fino de camadas de costura), evitando os custos proibitivos da NAS tradicional.
Otimização Sistemática: Ao capturar explicitamente diferenças distribucionais via divergência KL, o KLAS permite a descoberta de configurações de costura não intuitivas e de alto desempenho (por exemplo, "costura longínqua") que métodos heurísticos perdem.

Os autores concluem que o KLAS fornece uma solução robusta e automatizada para otimizar a compensação entre precisão e eficiência em cenários de implantação, aproveitando efetivamente o ecossistema existente de modelos pré-treinados sem exigir treinamento do zero.