Resumo Técnico: VecCISC

Declaração do Problema

A escalabilidade do raciocínio no tempo de inferência em Modelos de Linguagem de Grande Escala (LLMs) tornou-se uma abordagem padrão para melhorar o desempenho em tarefas complexas. A técnica fundamental, Consistência Auto (SC), envolve a amostragem de múltiplos traços de raciocínio e a seleção da resposta mais frequente. Mais recentemente, a Consistência Auto Informada por Confiança (CISC) demonstrou precisão superior ao empregar um paradigma de "pensar duas vezes": um LLM crítico avalia o traço de raciocínio de cada candidato para atribuir uma pontuação de confiança, que é então utilizada em uma votação majoritária ponderada.

No entanto, a CISC sofre de sobrecarga significativa de inferência e custo. Como o LLM crítico deve ser chamado para cada traço de raciocínio amostrado, o uso de tokens e a latência efetivamente duplicam em comparação com a SC padrão. Além disso, a CISC ingênua trata todas as amostras igualmente, incluindo traços alucinados, degenerados ou semanticamente redundantes, desperdiçando recursos computacionais em saídas de baixa qualidade que não contribuem para a decisão final.

Metodologia: VecCISC

Para abordar essas ineficiências, os autores propõem o VecCISC, um framework leve e adaptativo que reduz o número de traços de raciocínio que exigem avaliação crítica sem sacrificar a precisão. O pipeline opera da seguinte forma:

1. Amostragem: Um LLM ($LLM_{gen}$) gera $n$ pares traço-resposta de raciocínio para um determinado prompt.
2. Geração de Embeddings: Cada traço de raciocínio é convertido em um embedding vetorial usando um modelo de embedding pré-treinado ($Emb$).
3. Agrupamento por Resposta: Os traços são agrupados por sua resposta resultante ($a$). Isso garante que candidatos de resposta distintos sejam preservados antes do agrupamento.
4. Agrupamento (Clustering): Dentro de cada grupo de resposta, os embeddings são agrupados usando algoritmos como KMeans ou Agrupamento Aglomerativo Hierárquico (HAC). O objetivo é identificar traços semanticamente equivalentes, bem como isolar outliers (alucinações ou texto degenerado). O número de clusters ($K$) é determinado via busca em grade em um conjunto de retenção.
   • Nota: Os autores evitam explicitamente o DBSCAN devido à sensibilidade dos limiares de distância em espaços de embedding de alta dimensão.
5. Seleção de Representante: De cada cluster, um único traço representativo é selecionado. Isso é alcançado calculando o centróide dos embeddings do cluster e selecionando o traço mais próximo desse centróide usando similaridade de cosseno. Os autores argumentam que o traço mais próximo do centróide é o menos provável de conter erros de raciocínio anômalos.
6. Pontuação de Confiança: Em vez de avaliar todos os $n$ traços, o LLM crítico ($LLM_{critic}$) é acionado apenas com os traços representativos de cada cluster.
7. Agregação Final: As pontuações de confiança dos representantes são normalizadas (usando softmax com uma temperatura ajustável $T$) e utilizadas em uma votação majoritária ponderada para selecionar a resposta final.

Contribuições Principais

O artigo delineia quatro contribuições primárias:

• Framework Inovador: Introdução do VecCISC, que utiliza o agrupamento de traços de raciocínio para eliminar amostras redundantes e de baixa qualidade do pool analisado pelo crítico, reduzindo assim o custo do paradigma de "pensar duas vezes".
• Validação Empírica: Experimentos extensivos em cinco conjuntos de dados diversos (matemática, química, biologia, raciocínio de senso comum e humanidades) e cinco LLMs diferentes (variando de 7B a 70B parâmetros) demonstram que o VecCISC reduz o orçamento total de tokens em 47% enquanto mantém ou excede a precisão da CISC padrão.
• Análise Comparativa: O estudo compara a seleção baseada em agrupamento (KMeans e HAC) contra a seleção aleatória de candidatos ($K$ amostras), provando que o agrupamento semântico é superior à amostragem aleatória para identificar representantes ideais.
• Código Aberto: Os autores comprometem-se a liberar seu código para facilitar pesquisas futuras.

Resultados

Os experimentos foram conduzidos em cinco conjuntos de dados: AQuA-RAT, CommonsenseQA, ARC-Challenging, MMLU-Pro e GPQA.

• Redução de Custos: O VecCISC reduz significativamente o número de chamadas ao LLM crítico. O VecCISC + KMeans alcançou uma redução média de 34,68% nas chamadas do crítico, enquanto o VecCISC + HAC alcançou 30,2%. Ao considerar todo o pipeline (incluindo a amostragem inicial), o uso total de tokens foi reduzido em 47%.
• Eficiência de Tokens: A estratégia de seleção "min-centróide" (escolher o traço mais próximo do centro do cluster) superou consistentemente a seleção aleatória de traços, resultando em menor consumo de tokens para o componente crítico (que representa ~77% do total de tokens).
• Precisão: As variantes do VecCISC superaram ou igualaram consistentemente a Consistência Auto padrão e a CISC em quase todas as combinações de modelo-conjunto de dados. Notavelmente, o VecCISC + HAC alcançou os melhores resultados médios na maioria das configurações e, em alguns casos, o conjunto reduzido de traços de alta qualidade levou a pequenos ganhos de precisão sobre a CISC.
• Ablação: A linha de base "VecCISC (aleatório)", que seleciona $K$ traços aleatoriamente sem agrupamento, teve desempenho significativamente inferior tanto à CISC quanto à SC, destacando a necessidade de agrupamento semântico para filtrar ruído e traços degenerados.

Significado e Afirmativas

O artigo afirma que o VecCISC oferece uma augmentação eficaz e leve aos pipelines existentes de "pensar duas vezes". Os autores afirmam que, ao filtrar traços semanticamente equivalentes e degenerados, o framework permite que o LLM crítico se concentre em um conjunto menor de traços de raciocínio de maior qualidade. Essa abordagem mitiga os custos de inferência proibitivos associados à calibração de confiança, enquanto preserva e, em alguns casos, aprimora o desempenho do modelo.

Os autores permanecem modestos quanto à generalização de suas descobertas, observando que, embora tenham utilizado um modelo de embedding de propósito geral ($text-embedding-3-small$) para garantir adaptabilidade, tarefas especializadas podem se beneficiar de modelos de embedding específicos de domínio e ajustados. Além disso, reconhecem que os hiperparâmetros $K$ (contagem de clusters) e $T$ (temperatura do softmax) atualmente exigem buscas em grade orientadas por dados, sugerindo que trabalhos futuros poderiam explorar métodos adaptativos para selecionar esses parâmetros sem dados prévios.