ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering

Resumo Técnico: Recuperação por ColBERT e Pontuação de Resposta em Conjunto para Questionamento de Modelos de Linguagem

Declaração do Problema
O questionamento de domínio específico (QA) continua sendo um desafio significativo para os Grandes Modelos de Linguagem (LLMs), particularmente para modelos menores como o Phi-2 e o Falcon-7B. Esses modelos carecem da capacidade de parâmetros para codificar o conhecimento técnico profundo e especializado necessário para áreas como telecomunicações. Além disso, os LLMs padrão frequentemente têm dificuldade com a precisão factual em domínios especializados e podem falhar em aderir a formatos de instrução específicos ou restrições de raciocínio quando apresentados com múltiplas opções. O desafio "Especializando Modelos de Linguagem de Grande Escala para Redes de Telecomunicações" destacou essas limitações, onde as soluções de linha de base alcançaram apenas 41,5% de precisão para o Phi-2 e 24,5% para o Falcon-7B em questões de padrões de telecomunicações.

Metodologia
Os autores desenvolveram pipelines distintos de Geração Aumentada por Recuperação (RAG) para as trilhas Phi-2 e Falcon-7B, ambos utilizando ColBERT para recuperação densa e um glossário específico do domínio para o aprimoramento lexical.

• Componentes Comuns:

  • Recuperação: Ambos os sistemas utilizam o ColBERT [11] para recuperar fragmentos relevantes de 554 documentos técnicos da 3GPP. Os documentos são segmentados em fragmentos de 150 tokens para manter a coerência semântica.
  • Aprimoramento de Léxico: Um glossário de abreviações técnicas extraídas dos documentos da 3GPP é usado para expandir dinamicamente as abreviações encontradas nas consultas e opções, abordando o problema do "descompasso de léxico".
  • Busca Vetorial: O FAISS [18] é empregado para uma busca de similaridade eficiente.

• Trilha Phi-2 (Ajuste Fino e Alinhamento de Instrução):

  • Ajuste Fino (Fine-tuning): Um adaptador LoRA [12] foi ajustado finamente no conjunto de treinamento. O objetivo do treinamento incluiu não apenas a previsão da resposta correta, mas também a geração de explicações para melhorar as capacidades de raciocínio.
  • Prompting: O sistema utiliza um prompt estruturado contendo instruções, contexto recuperado, expansão de abreviações, a pergunta e as opções de múltipla escolha.
  • Otimização: Experimentos determinaram que recuperar $k=13$ fragmentos era o ideal dentro da janela de contexto de 2048 tokens do modelo. Os autores descobriram que fornecer instruções claras e concisas superou as estratégias complexas de prompting de poucos disparos (few-shot).

• Trilha Falcon-7B (Pontuação de Conjunto/Ensemble):

  • Estratégia de Prompting: Experimentos iniciais revelaram que o Falcon-7B tinha dificuldade em raciocinar efetivamente quando as opções eram incluídas no prompt. Consequentemente, o sistema foi modificado para gerar respostas baseadas apenas na pergunta, no contexto e nas expansões de abreviações, excluindo as opções da entrada.
  • Mecanismo de Pontuação de Conjunto: Como o modelo gera uma resposta de texto livre em vez de selecionar uma opção diretamente, um sistema de pontuação foi desenvolvido para mapear a resposta para a opção mais provável. Este sistema trata a tarefa como reconhecimento de iminência textual (textual entailment).
  • Componentes de Pontuação:
    1. Similaridade Semântica: Um modelo de Embedding de Texto Geral (GTE) v1.5 [18] foi ajustado finamente usando perda de triplet (âncora: explicação, positivo: opção correta, negativo: opção aleatória) para maximizar a similaridade de iminência.
    2. Sobreposição Lexical: Uma pontuação de sobreposição de palavras ponderada por TF-IDF (Term Frequency-Inverse Document Frequency) foi computada entre a resposta e as opções.
  • Pontuação Final: A seleção da opção final é baseada em uma soma ponderada da similaridade de cosseno ($\alpha_2 = 0,8$) e da pontuação de sobreposição TF-IDF ($\alpha_1 = 0,2$).

Resultados Principais
Os sistemas propostos alcançaram desempenho de liderança no conjunto de avaliação privado do desafio:

• Phi-2: Alcançou 81,9% de precisão, uma melhoria significativa sobre a linha de base de 41,5%.
• Falcon-7B: Alcançou 57,3% de precisão, uma melhoria substancial sobre a linha de base de 24,5% e resultados reportados anteriormente no domínio.

Análise Comparativa:

• Recuperação: Um conjunto de ColBERT e BM25 não superou o ColBERT sozinho, sugerindo que o conjunto de avaliação carecia de lacunas lexicais significativas entre consultas e documentos, tornando a compreensão semântica (força do ColBERT) mais crítica do que a correspondência de palavras-chave.
• Sensibilidade ao Contexto: O Phi-2 beneficiou-se do aumento dos fragmentos de contexto até o limite de sua janela, enquanto o desempenho do Falcon-7B degradou quando mais de 3 fragmentos foram fornecidos, indicando uma incapacidade de filtrar ruídos em contextos maiores.
• Escalabilidade: Quando comparado a modelos maiores e não ajustados (ex: Llama 3.1 405B), o sistema Phi-2 dos autores (80,3% no conjunto público) foi superado em 6,3%, destacando a vantagem contínua de contagens de parâmetros e dados de treinamento maiores. No entanto, a abordagem especializada de RAG e ajuste fino permitiu que os modelos menores competissem efetivamente dentro das restrições do desafio.

Significância e Alegações
O artigo afirma que sua principal contribuição é demonstrar que pequenos modelos de linguagem podem ser efetivamente especializados para tarefas de QA complexas e de domínio específico através de uma combinação de:

1. Otimizações específicas do modelo: Ajuste fino para alinhamento de instrução (Phi-2) e remoção de opções para evitar falhas de raciocínio (Falcon-7B).
2. Recuperação Especializada: O uso de RAG baseado em ColBERT para injetar o conhecimento de domínio necessário no momento da inferência.
3. Adaptação Lexical: Expansão dinâmica de abreviações para preencher a lacuna entre a terminologia técnica e o vocabulário do modelo.

Os autores observam que seus objetivos de ajuste fino melhoraram principalmente o alinhamento de instrução e de tarefa, em vez do alinhamento de conhecimento, conforme evidenciado pelo forte desempenho do modelo Phi-2 em um conjunto de dados de farmacologia fora do domínio quando ajustado com dados de telecomunicações. O trabalho ressalta a importância de pipelines de recuperação e restrições de raciocínio para permitir que modelos menores lidem com consultas técnicas, fornecendo um roteiro para implantar LLMs em domínios industriais especializados.