Resumo Técnico: InduceKV

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) enfrentam desafios significativos na adaptação contínua a tarefas e domínios em evolução enquanto operam sob rigorosas restrições de implantação. As abordagens existentes geralmente se dividem em duas categorias, ambas as quais lutam com o requisito de "pegada fixa" (fixed-footprint):

1. Atualizações de Parâmetros: Métodos que utilizam Ajuste Fino de Eficiência de Parâmetros (PEFT), Mistura de Especialistas (MoE) ou expansão de arquitetura trocam estabilidade por plasticidade, mas inerentemente reescrevem os parâmetros do modelo ao longo do tempo. Isso complica o controle de orçamento (conforme o estado de especialistas/roteadores cresce) e corre o risco de emaranhar as adaptações de novas tarefas com a interface pré-treinada cross-modal, o que pode prejudicar a generalização.
2. Mecanismos Baseados em Replay: Abordagens que utilizam seleção dinâmica de dados, replay sintético ou destilação reduzem o esquecimento, mas vinculam a melhoria contínua à gestão de dados durante o treinamento. Elas frequentemente enfrentam uma tensão entre preservar comportamentos históricos diversos e manter-se dentro de uma pegada de memória pequena e fixa, especialmente conforme o pool de candidatos se torna redundante.

O desafio central abordado por este trabalho é como adaptar continuamente um MLLM a novas tarefas enquanto preserva competências anteriores, mantendo o modelo de base (backbone) congelado e mantendo um estado de adaptação externo estritamente limitado (pegada fixa).

Metodologia: InduceKV

Os autores propõem o InduceKV, um método baseado em recuperação que externaliza incrementos específicos de tarefas em uma memória de Chave-Valor (KV) compatível com atenção, sem atualizar os parâmetros do backbone.

Mecanismo Central

1. Extração de Chave e KV Congelados:

   • Para um prefixo de entrada $x$ dado, o MLLM congelado extrai uma chave de recuperação de norma unitária $r(x)$ através do mean-pooling dos estados ocultos da última camada.
   • Simultaneamente, ele extrai payloads de Chave-Valor (KV) compactos e por camada $\{(\bar{K}_\ell(x), \bar{V}_\ell(x))\}_{\ell=1}^L$ para cada camada Transformer. Esses payloads são comprimidos via segment-mean pooling para um comprimento de token fixo $m$, garantindo um tamanho de memória independente da tarefa.
   • Esses componentes formam uma entrada de memória $e(x)$ armazenada em uma memória externa.

2. Indução de KV Pesada por Recuperação:

   • Na inferência, uma chave de consulta $r(x)$ recupera entradas de memória relevantes baseadas na similaridade de cosseno.
   • Um parâmetro de calibração leve $\phi$ (consistindo de uma temperatura de recuperação $\tau$ e portões de valor por camada $\lambda_\ell$) controla a força da recuperação e a injeção de valores de memória.
   • Os payloads KV recuperados são concatenados e injetados como tokens de cache adicionais no self-attention mascarado do modelo. O mecanismo de atenção é modificado para atender tanto aos tokens de prefixo padrão quanto aos tokens de memória injetados, permitindo que o modelo aproveite evidências externas sem alterar $\theta$.

3. Seleção de Conjunto Indutor Bilevel:

   • Para operar sob um orçamento de memória estrito $B$, o sistema não pode armazenar todas as entradas extraídas. Ele emprega um processo de otimização bilevel para selecionar um "conjunto indutor" compacto:
     • Nível Interno: Ajusta uma calibração de recuperação mínima $\phi$ nos dados da tarefa atual para minimizar a log-verossimilhança negativa (NLL).
     • Nível Externo: Seleciona um subconjunto de entradas de memória (pesos $w$) que otimiza conjuntamente:
       • Ajuste Atual: Verossimilhança na tarefa atual.
       • Retenção: Desempenho em um pequeno conjunto de "âncoras" históricas (exemplos fixos de tarefas anteriores).
       • Cobertura: Um regularizador de cobertura espectral (log-determinante da matriz de covariância em um espaço de recuperação projetado) para evitar redundância e garantir diversidade na memória selecionada.
   • A memória final $M_t$ é o Top-$B$ das entradas selecionadas pela otimização externa.

Principais Contribuições

1. Reenquadramento da Adaptação Contínua: O artigo reenquadra a adaptação contínua de MLLM como um problema de seleção de conjunto indutor online com orçamento para memória baseada em recuperação. Isso desloca a tensão estabilidade-plasticidade de um processo de atualização de parâmetros em constante crescimento para um problema de alocação de memória.
2. Mecanismo de Adaptação Impulsionado por Recuperação: Os autores introduzem um mecanismo que armazena incrementos de tarefas como memórias KV externas compatíveis com atenção. Crucialmente, utiliza uma interface de calibração leve para controlar a força da recuperação e contabiliza explicitamente o overhead de prefill e injeção de KV, injetando evidências específicas da tarefa sem atualizações repetidas do backbone.
3. Validação Empírica e Teórica: A abordagem alcança resultados de estado da arte em diversos cenários (ajuste fino de instrução incremental de tarefa, VQA contínuo, adaptação incremental de domínio e ajuste vitalício). Teoricamente, o artigo fornece limites de regret mostrando que o seletor de memória relaxado compete com a melhor alocação de conjunto indutor fixo sob o mesmo orçamento, com regret sublinear.

Resultados Experimentais

Os autores avaliaram o InduceKV contra baselines fortes (incluindo métodos de PEFT, MoE, replay e recuperação de prompt) sob orçamentos de memória e restrições de computação equivalentes.

• Ajuste Fino de Instrução Incremental de Tarefa (UCIT & CoIN): O InduceKV superou consistentemente baselines como HiDe-LLaVA, O-LoRA e MoELoRA. Por exemplo, no benchmark UCIT com um backbone LLaVA-v1.5-7B, o InduceKV melhorou a pontuação média em 0.88 e a pontuação da última tarefa em 1.12 em relação ao HiDe-LLaVA.
• VQA Contínuo: Sob os protocolos LV e T5, o InduceKV alcançou maior Precisão Média (AP) e menor Esquecimento (AF) comparado ao CL-MoE e QUAD.
• Ajuste de Domínio Incremental e Vitalício: O método demonstrou robustez em mudanças de domínio (Medicina, Gráficos, Matemática) e cenários de chegada dinâmica de datasets (LiIT), superando o Adapt-$\infty$ e outros baselines de seleção dinâmica.
• Estudos de Ablação: A remoção de componentes como indução ponderada por recuperação, acoplamento bilevel ou cobertura espectral levou a quedas significativas de desempenho, confirmando a necessidade da otimização conjunta dos pesos de seleção e da calibração de recuperação.
• Eficiência: Embora o InduceKV incorra em um overhead de prefill devido ao cálculo da chave de recuperação, ele alcança um throughput maior do que os métodos de replay baseados em prompt (que devem processar exemplares recuperados através de toda a rede) e mantém um throughput comparável aos métodos PEFT, oferecendo uma retenção superior.

Significância e Alegações

O artigo afirma que o InduceKV oferece uma alternativa principista para pipelines de atualização de parâmetros para adaptação contínua de MLLM. Ao congelar o backbone e externalizar os incrementos em uma memória KV compacta e orçada, o método:

• Desvincula a Adaptação dos Backbones: Evita a complexidade de gerenciar estados de parâmetros crescentes (ex: roteadores de especialistas) e evita o emaranhamento de novas tarefas com a interface pré-treinada.
• Garante uma Pegada Fixa: O estado de adaptação é estritamente limitado, tornando-o adequado para cenários de implantação com restrições de armazenamento e privacidade.
• Aproveita a Atenção Nativa: Diferente dos métodos de recuperação de prompt que tratam dados recuperados como texto, o InduceKV injeta evidências diretamente no cache de atenção, permitindo que o modelo utilize o conhecimento recuperado de forma mais eficiente e controlável.

Os autores enfatizam que os ganhos não se devem a um backbone mais forte, apenas ao replay, ou a um pool de candidatos ilimitado, mas sim ao design específico da seleção de conjunto indutor orçado e da injeção alinhada à atenção. O trabalho sugere que a adaptação contínua escalável é viável ao tratar a seleção de memória como um problema de otimização online em vez de uma tarefa de armazenamento de dados estático.