💬 NLP

Improving LLM Predictions via Inter-Layer Structural Encoders

O artigo apresenta o Inter-Layer Structural Encoders (ILSE), uma abordagem estrutural baseada em grafos de Cayley que agrega representações de camadas intermediárias de Grandes Modelos de Linguagem para superar o uso exclusivo da camada final, alcançando melhorias significativas de desempenho e permitindo que modelos menores compitam com os maiores.

Autores originais: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

Publicado 2026-03-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grande escritório de consultoria (o Modelo de Linguagem ou LLM) cheio de especialistas.

Os estagiários (camadas inferiores) sabem muito sobre gramática e palavras simples.
Os gerentes (camadas médias) entendem a estrutura das frases e a lógica.
Os diretores (camadas superiores) têm o "senso comum", entendem o contexto e o significado profundo.

O Problema: O "Diretor" nem sempre tem a resposta certa

Na prática atual, quando fazemos uma pergunta a esse escritório, a gente só pergunta ao Diretor (a última camada do modelo) e ignora todo o resto. A ideia era que o Diretor sabia de tudo.

Mas os autores deste paper descobriram que, dependendo da pergunta, às vezes o Gerente ou até o Estagiário tem a informação mais precisa. Às vezes, o Diretor está "alheio" aos detalhes técnicos que o estagiário viu. O problema é que, até agora, não havia uma maneira eficiente de reunir a opinião de todos os funcionários ao mesmo tempo.

A Solução: O "Sistema de Reunião Estruturada" (ILSE)

Os autores criaram um novo método chamado ILSE (Codificadores Estruturais Inter-camadas). Pense nele como um sistema de gestão de reuniões inteligente.

Em vez de apenas ouvir o Diretor, o ILSE pega a opinião de todos os níveis do escritório e as combina de uma forma muito especial para criar uma resposta final.

Como funciona a "Mágica" (O Codificador Cayley)?

A parte mais genial do ILSE é como eles organizam essa reunião. Eles não deixam as pessoas conversarem aleatoriamente. Eles usam uma estrutura matemática chamada Grafo de Cayley.

A Analogia da "Festa de Convidados":
Imagine que você tem 30 convidados (as 30 camadas do modelo) em uma sala.

Método Antigo (DWAtt): Você escolhe um anfitrião (a última camada) e ele decide quem ele quer ouvir. É eficiente, mas o anfitrião pode ter preconceitos ou não ouvir os melhores especialistas.
Método ILSE (Grafo de Cayley): Eles organizam a sala como um tabuleiro de xadrez perfeito ou uma rede de transporte eficiente.
- Ninguém fica isolado.
- Ninguém precisa passar por 20 pessoas para falar com outra (isso evita "engarrafamentos" de informação).
- A informação flui de forma rápida e equilibrada entre todos, como se cada pessoa pudesse enviar uma mensagem para qualquer outra em poucos passos, sem que a mensagem se perca ou fique distorcida no caminho.

Essa estrutura matemática garante que a "sabedoria coletiva" do modelo seja usada da forma mais eficiente possível, sem que a informação se perca no meio do caminho.

O Que Eles Descobriram?

Os autores testaram essa ideia em 13 tarefas diferentes (como entender sentimentos em poemas, classificar intenções de clientes em bancos ou medir o quão parecidas são duas frases).

Resultados Espetaculares: O ILSE venceu todos os métodos antigos. Em alguns casos, a precisão aumentou em 44%. É como se o escritório, que antes acertava 60% das vezes, passasse a acertar 85% apenas mudando a forma como as pessoas conversam entre si.
Pequenos Modelos Viraram Gigantes: O mais impressionante é que eles conseguiram fazer um modelo pequeno (com apenas 14 milhões de parâmetros, como um estagiário muito inteligente) competir de igual para igual com modelos gigantes (com 2,8 bilhões de parâmetros, como um super-diretor). O ILSE deu ao modelo pequeno a capacidade de usar todo o seu potencial interno.
Economia de Dados: O sistema funciona muito bem mesmo quando você tem poucos exemplos para treinar (apenas 32 exemplos por categoria). Isso é ótimo para situações onde não temos muitos dados rotulados.

Resumo em uma frase

O ILSE é como instalar um sistema de comunicação ultra-eficiente dentro de um cérebro de IA, permitindo que todas as suas "camadas de pensamento" (do mais básico ao mais complexo) colaborem perfeitamente, transformando modelos pequenos em gigantes e fazendo os modelos grandes acertarem muito mais.

Por que isso importa?
Porque significa que não precisamos necessariamente criar modelos maiores e mais caros para ter inteligência. Às vezes, o que precisamos é apenas ensinar os modelos existentes a ouvir melhor a si mesmos.

1. O Problema

A prática padrão em Grandes Modelos de Linguagem (LLMs) é basear previsões de tarefas downstream (como classificação ou cálculo de similaridade) exclusivamente nas representações da última camada do modelo. No entanto, pesquisas recentes demonstraram que:

Camadas intermediárias contêm informações substanciais e, por vezes, mais relevantes para a tarefa específica do que a camada final.
A camada ótima varia dependendo da tarefa (camadas inferiores capturam sintaxe, camadas superiores semântica).
Métodos existentes para combinar camadas (como somas ponderadas ou atenção baseada na última camada) são limitados: ou são lineares demais (ELMo), ou ancoram excessivamente a atenção na última camada (DWAtt), ou exigem o treinamento do modelo do zero (modificações arquiteturais).

O desafio central é: Como combinar eficientemente as representações de todas as camadas internas de um LLM congelado para criar uma representação única e superior, sem modificar a arquitetura base?

2. Metodologia: ILSE e Cayley-Encoder

Os autores propõem o ILSE (Inter-Layer Structural Encoders), uma abordagem estrutural e matematicamente fundamentada para agregar representações de todas as camadas.

Pré-processamento

Para cada camada $\ell$ do LLM, é calculada uma representação única $z_\ell$ através de mean-pooling (média) sobre os tokens de entrada.

Estrutura de Codificação

O ILSE trata essas representações de camadas como nós em um grafo e aplica mecanismos de aprendizado estruturado (DeepSets ou Redes Neurais em Grafos - GNNs) para aprender a combinação ótima. São propostos três tipos de codificadores:

Set-Encoder: Trata as camadas como um conjunto sem estrutura de grafo (grafo vazio), utilizando DeepSets para aprender funções invariantes à permutação.
FC-Encoder (Fully Connected): Constrói um grafo totalmente conectado onde cada camada se conecta a todas as outras, permitindo comunicação densa via GNN.
Cayley-Encoder (A contribuição central):
- Mapeia as camadas para nós de um Grafo de Cayley sobre o grupo linear especial $SL(2, \mathbb{Z}_n)$ .
- Por que Grafo de Cayley? Esses grafos são regulares, esparsos, mas altamente conectados, com diâmetro logarítmico. Isso garante que a informação flua eficientemente entre todos os nós (camadas) sem "gargalos" (over-squashing), um problema comum em GNNs profundos.
- O método utiliza virtual nodes para preencher o grafo caso o número de camadas do LLM não corresponda exatamente ao tamanho do grupo, mantendo as propriedades de expansão do grafo.
- Um GNN (como GIN ou GCN) é aplicado sobre essa estrutura para gerar a representação final.

Treinamento

O LLM base permanece congelado.
Apenas os parâmetros do codificador estrutural (ILSE) e a cabeça de classificação/leitura são treinados.
Isso torna o método extremamente eficiente em termos de parâmetros (adicionando apenas ~0.01% a 0.1% de parâmetros treináveis).

3. Principais Contribuições

Proposta do ILSE: Um framework rigoroso e matematicamente fundamentado para agregar representações inter-camadas de qualquer LLM.
Uso de Grafos de Cayley: A introdução de grafos de Cayley como uma estrutura de agregação inter-camada que evita gargalos de informação e regulariza a agregação, superando abordagens anteriores.
Avaliação Abrangente: Testes em 13 tarefas (classificação e similaridade semântica) e 9 LLMs pré-treinados (de 14M a 8B de parâmetros).
Eficiência de Dados: Demonstração de que o ILSE funciona excepcionalmente bem em cenários few-shot (poucos exemplos).
Equalização de Tamanho: Evidência de que ILSE permite que modelos pequenos (ex: 14M parâmetros) alcancem desempenho comparável a modelos muito maiores (ex: 2.8B parâmetros).

4. Resultados

Os experimentos cobriram tarefas de classificação (Banking77, Emotion, MTOP, Poem Sentiment) e Similaridade Semântica de Texto (STS).

Desempenho Geral: O ILSE superou consistentemente todas as baselines (Última Camada, Melhor Camada Única, ELMo, DWAtt) em todas as configurações.
- Classificação: Melhoria média de +30% sobre a "Última Camada" e +25% sobre a "Melhor Camada Única". Em tarefas como Emotion, a melhoria chegou a 44%.
- Similaridade Semântica (STS): O ILSE superou as baselines em 17 de 21 combinações de LLM/tarefa em cenários zero-shot.
Comparação entre Codificadores:
- O Cayley-Encoder obteve o melhor desempenho geral, especialmente em tarefas de similaridade semântica (17 de 24 configurações).
- O FC-Encoder também teve desempenho forte, superando o Set-Encoder, o que indica que a conectividade estruturada entre camadas é crucial.
Eficiência de Parâmetros: O ILSE adiciona uma quantidade insignificante de parâmetros treináveis (ex: ~722K parâmetros para um modelo de 2B), enquanto o método concorrente DWAtt adiciona cerca de 3-5 vezes mais parâmetros e tem desempenho inferior.
Aprendizado Few-Shot: Com apenas 32 exemplos por rótulo, o ILSE superou todas as baselines (incluindo aquelas treinadas com dados completos de ~10.000 amostras) em várias tarefas.
Escalabilidade: Modelos pequenos (Pythia-14M) com ILSE alcançaram precisão de 95-96% em tarefas onde modelos grandes (Pythia-2.8B) sem ILSE ficavam atrás, demonstrando que o ILSE extrai sinais complementares que modelos pequenos normalmente não conseguem acessar sozinhos.

5. Significado e Conclusão

O trabalho demonstra que a profundidade interna dos LLMs contém sinais complementares valiosos que são perdidos ao usar apenas a última camada. A abordagem do ILSE, particularmente o uso de Grafos de Cayley, oferece uma solução elegante e matematicamente sólida para:

Desbloquear o potencial de modelos congelados: Melhorar drasticamente o desempenho sem re-treinar o modelo base.
Democratizar o uso de LLMs: Permitir que modelos pequenos e eficientes em termos de recursos compitam com modelos massivos em tarefas específicas.
Eficiência: Oferecer ganhos massivos de precisão com um custo computacional e de parâmetros quase nulo.

Os autores sugerem que a conectividade regular e livre de gargalos (propriedade dos grafos de Cayley) atua como um viés indutivo eficaz para a agregação de informações em camadas, sugerindo futuras pesquisas na integração dessa estrutura diretamente na arquitetura do Transformer durante o pré-treinamento.