Improving Quantized Model Performance in Qualitative Analysis with Multi-Pass Prompt Verification

Resumo Técnico: Melhoria do Desempenho de Modelos Quantizados em Análise Qualitativa com Verificação de Prompt Multi-Passagem

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados para análise qualitativa devido à sua capacidade de resumir textos e identificar temas de forma eficiente. No entanto, a dependência de modelos de precisão completa ou de APIs comerciais introduz custos computacionais significativos e riscos de privacidade. Embora a quantização (redução da precisão em bits de pesos e ativações) ofereça uma solução para implantações locais com recursos limitados, ela frequentemente degrada o desempenho do modelo. Especificamente, a quantização de baixa precisão (por exemplo, de 2 a 4 bits) aumenta as alucinações, causa deriva semântica e reduz a precisão, particularmente ao processar linguagem de não especialistas caracterizada por terminologia pouco clara ou inconsistente. Pesquisas existentes abordaram a redução de alucinações e o design de prompts de forma isolada, mas carecem de uma avaliação sistemática de como níveis e tipos variados de quantização afetam o desempenho dos LLMs em tarefas qualitativas, nem oferecem um framework para estabilizar modelos de baixa precisão para tais análises.

Metodologia
O estudo avalia o modelo LLaMA-3.1 (8B) em um conjunto de dados de 82 transcrições de entrevistas semi-estruturadas (variando de 8.000 a 13.000 palavras) envolvendo participantes tanto especialistas quanto não especialistas. A metodologia segue um fluxo de trabalho de cinco fases:

1. Construção da Verdade Terrena: Dois pesquisadores codificaram independentemente as transcrições usando o NVivo. Essas saídas foram combinadas com uma saída corrigida do LLaMA-3.1 em BF16 (verificada manualmente) para criar uma Verdade Terrena Padrão Ouro (GSGT). Este processo garantiu que a linha de base fosse rigorosamente validada e livre de circularidade ou viés do modelo.
2. Avaliação Quantizada: O estudo testou múltiplas configurações de quantização:
   • 8 bits: SmoothQuant, INT8, GGUF Q8_0.
   • 4 bits: Q4_K_M, NF4, GPTQ-4bit.
   • 3 bits: HQQ, AWQ.
   • 2 bits: SPQR, GGUF Q2_K.
     Os modelos foram avaliados tanto "Antes" (geração de passagem única) quanto "Depois" (aplicando o framework proposto).
3. Framework Proposto: Foi introduzido um método de Verificação de Prompt Multi-Passagem Consciente de Quantização. Este framework opera em etapas controladas:
   • Passagem de Análise: O modelo extrai temas, subtemas e frequências usando prompts de sistema estruturados e restrições JSON para reduzir a carga cognitiva.
   • Passagem de Verificação: Um segundo prompt instrui o modelo a verificar a saída inicial contra a transcrição original. Ele remove temas não suportados, valida citações e corrige contagens de frequência.
   • Iteração: O processo se repete até a convergência (geralmente dentro de duas passagens), garantindo que apenas conteúdo fundamentado na transcrição seja retido.
4. Métricas: O desempenho foi medido usando oito métricas: Pontuação F1 de Extração de Temas, Pontuação de Deriva Semântica (SDS), Taxa de Alucinação (HR), Pontuação de Consistência de Temas, Correlação de Frequência, Taxa de Omissão de Palavras-chave, Taxa de Alucinação de Palavras-chave e Índice Rand Ajustado (ARI).

Principais Contribuições

1. Avaliação Sistemática: O artigo fornece a primeira avaliação abrangente de múltiplos níveis de quantização (de 2 a 8 bits) e tipos específicos de quantização (por exemplo, AWQ, SPQR, GPTQ) especificamente para análise de transcrições qualitativas, focando em alucinação e alinhamento temático em vez de benchmarks genéricos de raciocínio.
2. Framework de Verificação: Introduz um fluxo de trabalho de verificação multi-passagem consciente de quantização projetado especificamente para estabilizar implantações locais de LLMs de baixa precisão. Este framework isola os efeitos da quantização da augmentação de conhecimento, impondo validação interna estrita da transcrição.
3. Validação Empírica: O estudo demonstra que a verificação estruturada pode compensar a perda de precisão em ambientes com recursos limitados, permitindo análise qualitativa prática sem aumentar o tamanho do modelo ou exigir hardware de precisão completa.

Resultados

• Desempenho de Linha de Base: Sem verificação, modelos de baixa precisão (3 bits e 2 bits) apresentaram degradação significativa de desempenho, com altas taxas de alucinação e baixa consistência temática, especialmente em entradas de não especialistas. Modelos de 8 bits permaneceram mais próximos da GSGT, mas ainda mostraram pequena deriva.
• Impacto da Verificação: O framework multi-passagem melhorou significativamente o desempenho em todos os níveis de quantização:
  • Modelos de 4 bits: Apresentaram os ganhos relativos mais dramáticos (melhoria de 40–80%), tornando-se competitivos com as linhas de base de 8 bits enquanto exigiam muito menos memória.
  • Modelos de 3 bits e 2 bits: Embora a precisão absoluta permanecesse menor do que a dos modelos de maior precisão, o framework reduziu substancialmente as alucinações e estabilizou as saídas, tornando-os viáveis para análise estruturada onde anteriormente eram inutilizáveis.
  • Especialista vs. Não Especialista: Entradas de não especialistas (linguagem pouco clara) sofreram mais com a quantização, mas beneficiaram-se mais do processo de verificação, que removeu efetivamente temas não suportados e corrigiu contagens de frequência.
• Análise de Componentes: Estudos de ablação indicaram que a verificação em nível de tema foi o principal motor da redução de alucinações, enquanto a validação de citações melhorou a fundamentação semântica, e a verificação de frequência aumentou a confiabilidade quantitativa.

Significância
O artigo afirma que a eficiência da verificação é um fator crítico para permitir implantações confiáveis de LLMs com poucos recursos, frequentemente superando os benefícios do aumento da precisão do modelo sozinho. Ao demonstrar que um fluxo de trabalho estruturado de verificação multi-passagem pode mitigar os erros específicos introduzidos pela quantização agressiva (como deriva semântica e alucinação em texto de não especialistas), o estudo permite pesquisa qualitativa mais rápida, precisa e que preserva a privacidade. As descobertas sugerem que modelos quantizados de baixa precisão, quando acoplados a este framework de verificação, podem atingir níveis de desempenho adequados para uso prático, democratizando o acesso a ferramentas avançadas de análise qualitativa sem a sobrecarga computacional de modelos de precisão completa.