LinguDistill: Recovering Linguistic Ability in Vision- Language Models via Selective Cross-Modal Distillation

Título: LINGUDISTILL: Recuperando a Capacidade Linguística em Modelos Visão-Linguagem via Destilação Cruzada Seletiva

1. O Problema

A adaptação de Modelos de Linguagem Pré-treinados (LMs) para se tornarem Modelos Visão-Linguagem (VLMs) frequentemente resulta na degradação das capacidades linguísticas nativas do modelo.

• Causa: Esse fenômeno é atribuído a um "desvio de representação" (representation shift) e interferência cruzada de modalidades durante o ajuste fino multimodal. O modelo perde seus priores linguísticos originais, mesmo quando avaliado em entradas puramente textuais.
• Limitações das Soluções Atuais:
  • O ajuste fino adicional em tarefas linguísticas raramente recupera totalmente a capacidade perdida.
  • Abordagens anteriores (como bridging ou módulos de alinhamento intermediários) exigem a adição de novos parâmetros e módulos, aumentando a complexidade arquitetural e o custo de inferência.
  • Métodos de manipulação de espaço de pesos (como interpolação) muitas vezes exigem treinamento do zero ou assumem que capacidades podem ser isoladas limpiamente no espaço de parâmetros, o que nem sempre é verdade.

2. Metodologia: LINGUDISTILL

O LINGUDISTILL propõe um método de destilação de conhecimento (Knowledge Distillation - KD) sem adaptadores (adapter-free) para restaurar a capacidade linguística sem adicionar parâmetros ao modelo final.

Arquitetura e Mecanismo Chave:

• Papel dos Modelos:
  • Professor (Teacher): O LM original pré-treinado e congelado (ex: SmolLM-360M-Instruct). Ele possui forte capacidade linguística, mas não vê imagens.
  • Aluno (Student): O VLM (ex: nanoVLM) que está sendo ajustado para multimodalidade.
• Desafio: O professor só processa texto, enquanto o aluno processa multimodalidade (imagem + texto). Como fazer o professor supervisionar o aluno em contextos visuais?
• Solução: Compartilhamento de KV-Cache em Camadas (Layer-wise KV Sharing):
  • Durante o treinamento, o VLM (aluno) processa a sequência multimodal completa e gera seus caches de Chave-Valor (KV).
  • O LM (professor) reprocessa o prompt de texto, mas reutiliza diretamente os caches KV do aluno em cada camada.
  • Isso permite que o professor "veja" o contexto multimodal através das representações do aluno, gerando sinais de supervisão conscientes da visão, sem modificar a arquitetura do professor ou adicionar novos módulos.
• Objetivo de Destilação Seletiva:
  • Em vez de aplicar a destilação uniformemente em todos os dados, o método usa um peso dependente dos dados ($\alpha$).
  • Dados Linguísticos Intensos: (ex: raciocínio, conhecimento geral) $\rightarrow$ Alta ponderação da perda de destilação suave (soft KD) do professor.
  • Dados Visuais Intensos: (ex: OCR, documentos, tarefas de percepção visual) $\rightarrow$ Ponderação zero para KD, dependendo apenas da perda de rótulo duro (hard CE) do aluno.
  • Isso evita que o professor (que não tem grounding visual forte) "confunda" o aluno em tarefas que exigem precisão visual fina.

3. Principais Contribuições

1. Método sem Adaptadores: Recupera a capacidade linguística em VLMs usando o LM original congelado como professor, eliminando a necessidade de módulos intermediários ou parâmetros extras na inferência.
2. Arquitetura de Compartilhamento de KV: Introduz um mecanismo inovador que permite a um LM congelado atender ao contexto multimodal do aluno, resolvendo o problema de alinhamento entre modalidades na destilação.
3. Destilação Seletiva: Demonstra que a recuperação da linguagem deve ser direcionada apenas a dados linguísticos, preservando a capacidade de grounding visual do aluno em tarefas visuais.

4. Resultados Experimentais

Os experimentos foram realizados no modelo nanoVLM-460M utilizando o conjunto de dados The Cauldron.

• Recuperação de Linguagem: O LINGUDISTILL recuperou aproximadamente 10% da performance perdida em benchmarks de linguagem e conhecimento (ex: HellaSwag, ARC Challenge, ScienceQA) em comparação com o ajuste fino padrão.
  • Exemplo: No COCO Captioning, a queda de 15,9% no ajuste fino padrão foi revertida para um ganho de 8,3% em relação ao modelo pré-treinado.
• Preservação de Visão: Ao contrário da destilação uniforme (que degradava severamente tarefas de OCR e documentos), a abordagem seletiva manteve a performance em tarefas visuais pesadas com degradação mínima.
  • Tarefas como DocVQA e OCRBench sofreram apenas uma leve regressão comparada ao ajuste fino padrão, evitando o colapso catastrófico observado na destilação uniforme.
• Eficiência: Após o treinamento, o professor é descartado. O modelo final é um VLM padrão, sem custo adicional de inferência ou parâmetros.

5. Significado e Conclusão

O trabalho demonstra que a degradação linguística em modelos multimodais não é irreversível e não exige arquiteturas complexas.

• Insight Principal: A capacidade linguística pode ser recuperada através de uma destilação cruzada inteligente que utiliza o conhecimento do LM original, mas que é "filtrada" para não interferir nas capacidades visuais recém-adquiridas.
• Impacto Prático: Oferece uma solução eficiente e prática para o problema de "esquecimento catastrófico" ou interferência de modalidades, permitindo que VLMs mantenham tanto a inteligência visual quanto a competência linguística nativa, sem aumentar o custo computacional em produção.

Em resumo, o LINGUDISTILL resolve o dilema de "escolher entre visão ou linguagem" em VLMs, provando que é possível ter o melhor dos dois mundos através de uma destilação seletiva e compartilhamento de memória de atenção.