Resumo Técnico: DecompressionLM

Declaração do Problema

Os métodos existentes para sondar o conhecimento em Grandes Modelos de Linguagem (LLMs) dependem de consultas pré-definidas (por exemplo, prompts do tipo cloze ou templates específicos). Essa abordagem de "mundo fechado" limita a extração aos conceitos que os pesquisadores já sabem perguntar, falhando em revelar todo o escopo do conhecimento codificado de um modelo. Além disso, os métodos padrão de sondagem baseados em decodificação sofrem de três ineficiências críticas:

1. Acoplamento entre sequências: A exploração sequencial (ex: beam search) concentra a massa de probabilidade em prefixos de alta frequência, suprimindo continuações diversas.
2. Efeitos de decodificação competitiva: A amostragem autorregressiva cria uma dinâmica de "o rico fica mais rico", onde as escolhas iniciais de alta probabilidade dominam, reduzindo a cobertura de conceitos de cauda longa (long-tail).
3. Restrições de escalabilidade: A sondagem exaustiva via expansão de contexto sequencial incorre em complexidade de tempo quadrática devido aos mecanismos de autoatenção, tornando a extração abrangente de conhecimento computacionalmente proibitiva.

Adicionalmente, métricas de avaliação padrão como a perplexidade frequentemente falham em capturar a amplitude do conhecimento ou a fidelidade do embasamento factual, particularmente em modelos comprimidos (quantizados).

Metodologia: DecompressionLM

Os autores introduzem o DecompressionLM, um framework stateless (sem estado) e zero-shot projetado para amostrar sistematicamente a distribuição de saída de um LLM para descobrir grafos de conceitos sem consultas pré-especificadas.

Mecanismos Principais

1. Amostragem de Van der Corput (VdC) com Decodificação Aritmética:

   • Em vez de beam search sequencial, o método emprega amostragem quase-aleatória determinística usando sequências de baixa discrepância de Van der Corput.
   • Combinado com a decodificação aritmética, isso mapeia sequências para números reais no intervalo $[0, 1)$. A sequência VdC gera um conjunto de códigos ($v_n$) ilimitado e de baixa discrepância que garante a cobertura uniforme do espaço de saída.
   • Esta abordagem permite a geração totalmente paralela e stateless. Cada sequência é gerada independentemente do mesmo prefixo de prompt usando um código único, eliminando o acoplamento entre sequências e permitindo que o cálculo seja transferido para diferentes máquinas sem coordenação.

2. Pipeline de Extração de Conceitos:

   • Prompting: Os modelos são instruídos a gerar conceitos relevantes ao domínio como uma lista simples de palavras-chave (uma por linha), evitando texto explicativo para minimizar suposições estruturais.
   • Normalização: Os conceitos brutos passam por normalização Unicode, conversão para minúsculas, filtragem ASCII e singularização morfológica (ex: "violations" $\to$ "violation").
   • Fusão (Merging): Um algoritmo de correspondência difusa (fuzzy matching) com distância de Levenshtein e bloqueio baseado em comprimento funde duplicatas próximas para construir um conjunto de conceitos canônicos.
   • Construção de Grafo: Um grafo direcionado é construído onde os nós são conceitos e as arestas representam sinais fracos de coocorrência derivados de linhas consecutivas nas sequências geradas.

3. Validação:

   • Para domínios jurídicos, os conceitos extraídos são verificados contra o CourtListener, um banco de dados de jurisprudência dos EUA, para distinguir conceitos fatuais de alucinações.

Principais Contribuições

1. Cobertura Sistemática via Amostragem VdC: O artigo substitui o beam search sequencial pela amostragem quase-aleatória determinística. Isso fornece cronogramas de cobertura reproduzíveis, independentes de ordem e livres de sementes (seed-free), permitindo o benchmarking consistente entre modelos e variantes de quantização.
2. Extração de Conceitos Stateless: Ao desacoplar as sequências, o método evita vieses introduzidos pela acumulação de contexto dinâmico e permite a geração escalável e embaralhadamente paralela (embarrassingly parallel).
3. Cobertura de Conceito como Métrica Diagnóstica: Os autores propõem a "cobertura de conceito" (amplitude, conectividade e veracidade do conhecimento extraível) como uma dimensão de avaliação complementar à perplexidade tradicional e aos benchmarks de tarefas de downstream.

Resultados Experimentais

O framework foi avaliado em duas famílias de modelos (Qwen2.5-7B e Llama-3.1-8B), cinco variantes de quantização (BF16, GPTQ-Int8, GPTQ-Int4, AWQ-4bit, BNB-4bit) e quatro domínios (Direito dos EUA, Git, Radiologia, Aviação da FAA).

Efeitos da Quantização

• AWQ-4bit (Consciente de Ativação): Surpreendentemente, este método expandiu a cobertura de conceitos em 30–170% em comparação com a linha de base BF16, mantendo uma alta conectividade de grafo. Isso sugere que proteger pesos salientes com base em estatísticas de ativação preserva o acesso ao conhecimento de cauda longa.
• GPTQ-Int4 (Uniforme): Este método induziu um colapso catastrófico, reduzindo a cobertura de conceitos em 71–86% e causando uma fragmentação severa do grafo (ex: apenas 40,8% dos conceitos no maior componente conectado para o Llama).
• Desacoplamento de Perplexidade: Métricas de perplexidade padrão permaneceram relativamente estáveis entre as variantes de quantização (exceto no regime degenerado GPTQ-Int4), falhando em refletir a divergência massiva na cobertura de conceitos. Isso indica que um modelo pode gerar texto fluente para conceitos conhecidos enquanto perde a capacidade de trazer à tona conceitos raros e válidos.

Robustez e Alucinação

• Estabilidade de Offset: Experimentos com múltiplos offsets de VdC confirmaram que os padrões de degradação observados (ex: superioridade do AWQ vs. colapso do GPTQ) são intrínsecos à estrutura de conhecimento do modelo e não artefatos de inicialização.
• Lacuna de Alucinação: No domínio de Direito dos EUA, observou-se uma lacuna de 19,6 pontos nas taxas de alucinação entre os modelos de melhor e pior classificação no benchmark MMLU-Pro Law. Os melhores modelos tiveram média de ~15% de alucinação, enquanto os piores tiveram média de ~35%.
• Correlação de Frequência:** Alguns modelos exibiram "corrupção de cabeça" (head corruption), onde até conceitos gerados frequentemente tornaram-se não confiáveis (correlação negativa entre frequência e alucinação), enquanto outros mostraram "colapso de cauda" (tail collapse), onde conceitos raros foram alucinados, mas os comuns permaneceram fundamentados.

Significância e Alegações

O artigo afirma que o DecompressionLM estabelece uma nova capacidade diagnóstica para avaliar LLMs, particularmente no contexto de modelos comprimidos prontos para implantação.

• Além da Perplexidade: As descobertas desafiam a primazia da perplexidade como métrica de qualidade para modelos comprimidos. Um modelo pode manter baixa perplexidade enquanto perde 70% de seus conceitos extraíveis, um modo de falha invisível para métricas padrão, mas crítico para geração aumentada por recuperação (RAG), QA intensivo em conhecimento e aplicações criativas.
• Insights de Quantização: O trabalho revela que diferentes métodos de quantização afetam aspectos distintos do conhecimento do modelo. A quantização consciente de ativação (AWQ) parece preservar preferencialmente a capacidade de gerar conceitos diversos de cauda longa, enquanto a quantização uniforme degrada essa capacidade, apesar de pontuações de perplexidade semelhantes.
• Dimensão de Avaliação: A cobertura de conceito é proposta como uma dimensão necessária e complementar para avaliar o embasamento factual e a amplitude de conhecimento de modelos destinados à implantação no mundo real.

Os autores concluem que este framework permite a extração de grafos de conceitos abrangentes sem conhecimento prévio do domínio, reduzindo a barreira para auditar o conhecimento do modelo e revelando propriedades qualitativas da representação de conhecimento que os benchmarks tradicionais não capturam.