Resumo Técnico: Parametrização de Contexto com Adaptadores Composicionais (COMPAS)

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) normalmente se adaptam a novas tarefas via Aprendizado em Contexto (ICL) ou Ajuste Fino Supervisionado (SFT). No entanto, ambas as abordagens enfrentam limitações significativas ao escalar para múltiplas demonstrações ou passagens recuperadas:

• Ineficiência do ICL: À medida que o número de tokens de contexto (instruções, demonstrações, evidências) aumenta, o ICL torna-se computacionalmente caro devido aos custos de inferência que escalam linearmente. Além disso, contextos longos desestabilizam os mecanismos de atenção, levando à degradação do desempenho (o fenômeno "perdido no meio").
• Rigidez do SFT: O SFT requer o treinamento de um modelo ou adaptador separado para cada tarefa ou contexto específico, incorrendo em altos custos de treinamento e carecendo da flexibilidade para integrar dinamicamente novas informações sem retreinamento.
• Limites da Janela de Contexto: Quando o input excede a janela de contexto do modelo, nem o ICL nem o SFT padrão conseguem utilizar efetivamente toda a informação.

Embora trabalhos anteriores tenham explorado a geração de adaptadores a partir de um único contexto, eles negligenciaram amplamente a necessidade de integrar múltiplos fragmentos de informação. Os métodos existentes carecem de um mecanismo principiado para compor adaptadores algebricamente para representar contextos concatenados, falhando em capturar como os LLMs combinam múltiplas fontes de informação.

2. Metodologia: COMPAS

Os autores introduzem o COMPAS (Adaptadores Composicionais), um framework de meta-aprendizado que traduz o contexto em parâmetros de adaptadores com uma estrutura composicional, permitindo que sejam fundidos algebricamente.

2.1. Fundamentação Teórica

O framework é construído sobre uma configuração de professor-aluno onde o objetivo é garantir que os adaptadores gerados a partir de contextos individuais possam ser compostos no espaço de parâmetros para replicar o efeito da concatenação de contextos no espaço de entrada.

• Modelo Professor ($f_T$): Processa o input concatenado $[c_1; \dots; c_k; q]$.
• Modelo Aluno ($f_S$): Processa apenas a query $q$ usando parâmetros base $\theta$ modificados pela soma dos adaptadores: $\theta \oplus \sum \phi_i$.
• Gerador ($G$): Uma rede que mapeia um contexto $c$ para parâmetros de adaptador $\phi = G(c)$.

O requisito central é que o gerador atue como um homomorfismo de monoide do monoide livre de contextos (concatenação) para o monoide aditivo de parâmetros de adaptador (adição). Idealmente, $G([c_1; c_2]) = G(c_1) + G(c_2)$. O artigo estabelece um Limite de Composicionalidade (Teorema 2.1), provando que o erro entre a saída do aluno (soma de adaptadores) e a saída do professor (contexto concatenado) é limitado pelo erro de aditividade do gerador e pelo desajuste aluno-professor, escalonado pela constante de Lipschitz do aluno.

2.2. Arquitetura

• Gerador: Aumenta o LM base com componentes treináveis: um adaptador LoRA inserido no LM e um gargalo linear seguido por troncos de projeção. Ele processa um contexto $c$ para produzir uma representação oculta agrupada (pooled), que é projetada em um espaço latente compacto $z(c)$. Este vetor latente é então mapeado via projeções lineares para gerar matrizes LoRA ($A$ e $B$) para todos os módulos alvo no modelo aluno.
• Aluno: Um LLM padrão com adaptadores LoRA. Durante a inferência, ele recebe apenas a query e a soma dos adaptadores gerados para os contextos relevantes.

2.3. Objetivos de Treinamento

A perda de treinamento ($L_{COMPAS}$) é uma soma ponderada de três componentes projetados para impor composicionalidade e fidelidade:

1. Alinhamento Aluno-Professor ($L_{ST}$): Minimiza a divergência KL entre a distribuição do aluno (usando adaptadores somados) e a distribuição do professor (usando contextos concatenados). Isso é aplicado tanto para contextos únicos ($k=1$) quanto para contextos concatenados ($k=2$) para impor consistência composicional.
2. Regularização de Aditividade ($L_{ADD}$): Penaliza a discrepância entre o adaptador gerado para um contexto concatenado $G([c_1; c_2])$ e a soma dos adaptadores individuais $G(c_1) + G(c_2)$. Isso minimiza diretamente o erro de aditividade do gerador $\eta$.
3. Reconstrução ($L_{RECON}$): Um objetivo auxiliar onde o aluno deve reconstruir autoregressivamente os tokens de contexto originais a partir do estado do adaptador usando um token especial [RECON]. Isso garante que os adaptadores codifiquem fielmente a informação de entrada e evita soluções triviais.

3. Principais Contribuições

1. Framework COMPAS: Um framework de meta-aprendizado professor-aluno que codifica o contexto em adaptadores composicionais, permitindo a combinação algébrica.
2. Garantias Teóricas: O estabelecimento de condições teóricas (Teorema 2.1) sob as quais a adição no espaço de parâmetros aproxima provadamente o comportamento da concatenação de contexto, decompondo o erro em fontes interpretáveis.
3. Validação Empírica: Demonstração de que o COMPAS supera o ICL padrão, o ajuste fino e os métodos baseados em geradores existentes (como GenAda e WILDA), particularmente ao escalar para um grande número de demonstrações ou passagens recuperadas.

4. Resultados Experimentais

Os autores avaliaram o COMPAS em tarefas de múltipla escolha (MMLU, ARC-Challenge) e QA extrativo (HotpotQA) usando LLaMA-3.1 (8B), LLaMA-3.2 (3B) e Qwen-2.5 (7B).

• Desempenho vs. ICL: O COMPAS superou consistentemente o ICL padrão em todos os modelos e contagens de shots. Os ganhos foram mais pronunciados com contagens de shots mais altas (ex: 12–16 demonstrações), onde o desempenho do ICL frequentemente degrada devido ao comprimento do contexto.
• Comparação com SFT e Geradores: O COMPAS igualou ou excedeu o desempenho do WILDA (que realiza o ajuste fino de um adaptador específico por contexto) enquanto mantém a eficiência de um único gerador. Também superou significativamente o GenAda, que carece do gargalo linear explícito e das restrições de aditividade.
• Escalabilidade: Em experimentos com 16 demonstrações, o COMPAS alcançou maior precisão que o ICL e o GenAda. Por exemplo, no MMLU com LLaMA 8B, o COMPAS (composição 4×4) atingiu 72,2% de precisão comparado aos 64,2% do ICL.
• Robustez: O COMPAS demonstrou robustez superior a contextos ruidosos, contraditórios ou fora de tópico em comparação ao ICL, sugerindo que a compressão do contexto em parâmetros mitiga o impacto de sinais espúrios.
• Eficiência: Ao desacoplar o custo de inferência do comprimento do contexto, o COMPAS alcançou acelerações significativas (até 4,1× em 16-shot) e reduziu o uso de memória de pico em comparação ao ICL, que escala linearmente com o tamanho do contexto.
• Reconstrução: O framework manteve alta fidelidade de reconstrução (F1 de nível de token > 85% para unidades únicas), confirmando que os parâmetros do adaptador retêm o conteúdo semântico do contexto original.

5. Significância e Alegações

O artigo afirma que o COMPAS estabelece a geração de adaptadores composicionais como uma alternativa prática e eficiente para escalar o deployment de LLMs. Sua significância reside em:

• Eficiência: Reduz os custos de inferência e a pegada de memória ao substituir longos tokens de prompt por parâmetros de adaptadores compactos e reutilizáveis.
• Estabilidade: Mitiga a instabilidade e a degradação de desempenho associadas ao processamento de contexto longo em transformers.
• Escalabilidade: Oferece uma solução principiada para lidar com inputs que excedem a janela de contexto do modelo, gerando e compondo adaptadores de forma independente.
• Segurança e Interpretabilidade: A codificação reversível de informação em adaptadores facilita a recuperação dos contextos de input originais, o que é crucial para segurança e auditoria.

Os autores posicionam este trabalho não como um substituto para todas as estratégias de adaptação, mas como um mecanismo escalável para integrar evidências externas e múltiplas demonstrações sem as penalidades computacionais do prompting tradicional ou a rigidez do ajuste fino por tarefa.