ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding

Resumo Técnico: ABLE (Attribution-Based Large-model Embedding)

Definição do Problema
A rápida expansão do ecossistema de Grandes Modelos de Linguagem (LLMs) resultou em uma coleção heterogênea de modelos com diversas arquiteturas, escalas e origens de treinamento, frequentemente carecendo de documentação clara. Essa opacidade complica tarefas críticas, como auditoria de proveniência, análise de segurança (ex: rastreamento de propagação de backdoor) e seleção inteligente de modelos. Os métodos de representação existentes enfrentam limitações significativas neste cenário:

• Análise de Características Internas: Métodos que analisam parâmetros ou ativações são eficazes para famílias homogêneas, mas têm dificuldade com a heterogeneidade estrutural, exigindo estratégias complexas de alinhamento de pesos que não escalam bem.
• Sondagem de Saída Externa: Métodos de caixa-preta baseados em saídas (ex: log-verossimilhança ou texto gerado) escalam bem, mas frequentemente confundem modelos com comportamentos superficiais semelhantes, mas computações internas distintas. Além disso, comparar saídas entre modelos com diferentes tokenizadores e vocabulários é difícil.

Metodologia
Os autores propõem o ABLE (Attribution-Based Large-model Embedding), um framework livre de treinamento que constrói representações de modelos no "espaço de interpretabilidade" através da agregação de atribuições baseadas em gradiente. O pipeline consiste em três estágios:

1. Computação de Atribuição:

   • O método utiliza atribuições de Gradiente × Entrada (GI) em um conjunto de dados de sondagem predefinido de questões de múltipla escolha (MCQs).
   • Para cada modelo, a atribuição de cada token de entrada à log-probabilidade de cada opção de resposta candidata é computada. Isso captura os padrões de sensibilidade de entrada do modelo, em vez de apenas sua previsão final.
   • O resultado é um vetor de atribuição de alto nível de token ($a_{token}$).

2. Alinhamento de Cross-Tokenizer:

   • Para lidar com a incompatibilidade de diferentes tokenizadores, o ABLE emprega um processo de alinhamento agnóstico ao tokenizador.
   • Mapeamento Token-para-Caractere: As atribuições de nível de token são distribuídas uniformemente através dos intervalos de caracteres do texto original.
   • Agregação de Caractere-para-Palavra: As atribuições de nível de caractere são somadas com base em delimitadores de espaços em branco para formar atribuições de nível de palavra.
   • Isso gera um vetor de atribuição de nível de palavra ($a_{word}$) unificado para todos os modelos, independentemente de seu tokenizador subjacente.

3. Redução de Dimensionalidade:

   • Os vetores de alto nível de palavra são projetados em um espaço de embedding compacto de baixa dimensão ($K$ dimensões) usando projeção aleatória de Johnson-Lindenstrauss (JL).
   • Isso preserva as distâncias par a par entre os modelos com alta probabilidade, permitindo o processamento eficiente a jusante.

Garantias Teóricas
O artigo fornece uma análise de estabilidade sob suposições de regularidade padrão para modelos do tipo Transformer diferenciáveis:

• Continuidade de Lipschitz: Os autores provam que o ABLE induz um mapa contínuo de Lipschitz dos parâmetros do modelo para os embeddings. Isso garante que pequenas perturbações nos parâmetros do modelo resultem em mudanças limitadas no espaço de embedding, evitando comportamentos caóticos.
• Convergência de Amostra Finita: O artigo estabelece limites de concentração mostrando que a representação empírica (computada a partir de um conjunto finito de amostras) converge para a representação do nível da população conforme o tamanho da amostra aumenta.

Resultados Experimentais
O framework foi validado em 239 LLMs de código aberto abrangendo tamanhos de parâmetros de 70M a 70B e várias famílias (ex: Llama, Mistral, Qwen, Bloom). Principais descobertas incluem:

• Predição de Relação: O ABLE superou os baselines (incluindo métodos baseados em saída como PhyloLM e Log-Likelihood) na predição de se dois modelos são relacionados (derivados da mesma fonte). Alcançou a maior acurácia (86,7%) e precisão (83,6%), demonstrando sua capacidade de detectar relações sutis de derivação que métodos de apenas saída perdem.
• Roteamento de Modelos (Model Routing): Em uma tarefa de roteamento de modelos (predizer qual modelo responde corretamente a uma pergunta), um roteador usando características congeladas do ABLE alcançou 67,6% de acurácia, superando ligeiramente o baseline EmbedLLM totalmente treinado (66,5%). Crucialmente, o ABLE oferece uma vantagem livre de treinamento, permitindo que novos modelos sejam adicionados ao pool de roteamento sem retreinar todo o sistema.
• Predição de Pontuação de Benchmark: Usando regressão ridge, as características do ABLE predisseram o desempenho em benchmarks padrão (ARC, MMLU, TruthfulQA, etc.) com correlações de Spearman variando de 0,81 a 0,89.
• Seleção de Candidatos: O ABLE selecionou com sucesso o espaço de busca para seleção de modelos específicos para tarefas (ex: matemática ou raciocínio), alcançando altos escores NDCG@10 (até 0,990) na seleção de modelos base promissores para adaptação.

Significância e Alegações
O artigo afirma que o ABLE oferece um novo paradigma que preenche a lacuna entre a análise de parâmetros internos e a sondagem de saída externa. Ao alavancar o espaço de interpretabilidade, o ABLE captura padrões de sensibilidade de entrada específicos do modelo que são robustos a diferenças de arquitetura e de tokenizador.

Os autores enfatizam que o ABLE não é um substituto para os métodos existentes, mas uma visão complementar que permanece escalável para ecossistemas heterogêneos. O framework fornece uma abordagem principista e livre de treinamento para:

1. Auditoria de Proveniência: Identificar relações ocultas e potenciais problemas de direitos autorais.
2. Roteamento de Modelos: Selecionar modelos para tarefas específicas de forma eficiente sem retreinamento.
3. Estimativa de Desempenho: Predizer pontuações de benchmark para guiar a seleção de modelos.

O trabalho conclui que, embora o cálculo de atribuições incorra em um custo único, os embeddings reutilizáveis resultantes facilitam a análise eficiente a jusante, oferecendo uma maneira estável e interpretável de mapear o cenário evolutivo dos LLMs.