Resumo Técnico: Seleção de Evidências Aumentada por Traço Inspirada em Quantum para Raciocínio sobre Espaços de Hipóteses Estruturadas

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) alcançaram desempenho de nível humano ou superior em exames de especialistas gerais, mas permanecem frágeis em domínios especializados e intensivos em evidências, como o Direito. Nesses domínios, os erros decorrem não da falta de conhecimento de mundo, mas de distinções sutis entre peças de evidência e a aplicação inconsistente de fatos de suporte.

A abordagem predominante para melhorar o raciocínio é a amostragem de múltiplas traças de Cadeia de Pensamento (Chain-of-Thought - CoT) e a agregação via voto de maioria. No entanto, o voto de maioria é fundamentalmente falho para tarefas intensivas em evidência porque prioriza a resposta mais popular, independentemente de a evidência subjacente ser a mais forte. Essa abordagem falha em recuperar respostas corretas que são sustentadas por evidências de alta qualidade, mas que aparecem em uma minoria de traças (o problema da "maioria ruidosa"). Além disso, modelos de fronteira frequentemente exibem vieses latentes (ex: viés de posição) que não são mitigados pela simples agregação.

O artigo postula que a seleção de fragmentos de raciocínio deve ser tratada como um problema de otimização combinatória explícito, em vez de um exercício estatístico de votação. O objetivo é identificar um subconjunto de fragmentos de evidência que suporte maximamente uma hipótese com base em métricas de qualidade (relevância, especificidade, distintividade) em vez de frequência, permitindo que hipóteses minoritárias, porém bem sustentadas, sobreponham-se a maiorias ruidosas.

2. Metodologia: O Framework EP-HUBO

Os autores introduzem o EP-HUBO (Evidence Pool Higher-Order Binary Optimisation), um pipeline de quatro fases projetado para agregar fragmentos de raciocínio enquanto preserva hipóteses minoritárias, mas corretas. O framework é formulado como um problema de Otimização Binária de Ordem Superior Não Restrita (HUBO), solucionável tanto em hardware clássico quanto quântico.

Fase 1: Geração de Traça Local

Um LLM local de pesos abertos e menor escala (ex: Qwen3.5-35B ou OSS-20B) gera $N$ traças de CoT independentes por pergunta. Esta fase é eficiente em termos de custo e evita os altos custos de API de usar modelos de fronteira para a geração inicial de traças.

Fase 2: Agrupamento de Evidências e Pontuação de Fragmentos

As traças são agrupadas por sua resposta final extraída em pools de evidências ($P_\ell$). Cada pool contém fragmentos de raciocínio derivados de traças que concluíram com uma hipótese específica.

• Extração de Fragmentos: Os fragmentos são analisados a partir do texto bruto usando regras determinísticas e filtros de qualidade (ex: contagem mínima de palavras, presença de entidades).
• Pontuação de Qualidade: Um LLM local pontua cada fragmento em três dimensões:
  1. Relevância ($r_i$): Conexão com a pergunta.
  2. Especificidade ($s_i$): Presença de fatos concretos, estatutos ou entidades nomeadas.
  3. Distintividade ($d_i$): Contribuição lógica não implícita por outros fragmentos.
• Ponderação: Crucialmente, estes pesos são desacoplados da popularidade. Eles não dependem da frequência do fragmento entre as traças, ao contrário de abordagens anteriores baseadas em QUBO (ex: QCR-LLM) que usavam a frequência do fragmento como um coeficiente primário.

Fase 3: Otimização HUBO

Para cada pool de evidências, o sistema resolve um problema HUBO para selecionar um subconjunto de fragmentos ($S_\ell$) que minimize uma função de energia $H_\ell(x_\ell)$:
$$H_\ell(x_\ell) = \sum w^{(1)}_i x_i + \sum w^{(2)}_{ij} x_i x_j + \sum w^{(3)}_{ijk} x_i x_j x_k$$

• Termos de 1 corpo ($w^{(1)}$): Derivados das pontuações de qualidade ($r, s, d$).
• Termos de 2 corpos ($w^{(2)}$): Penalizam contradições e recompensam o suporte entre fragmentos.
• Termos de 3 corpos ($w^{(3)}$): Recompensam a coerência e penalizam o enfraquecimento da hipótese.
• Restrições: A otimização está sujeita a uma restrição de cardinalidade ($\|x\|_1 = K$), onde $K$ é ajustado dinamicamente com base na diversidade de fragmentos intra-pool (distância de Jaccard).
• Solver: O problema é resolvido usando Simulated Annealing (SA) em hardware clássico ou a máquina quântica de entropia fotônica Dirac-3 da Quantum Computing Inc. (QCi). O Dirac-3 permite a resolução direta de termos de ordem superior sem a sobrecarga de quadratização exigida por hardware de recozimento ou baseado em portas como o D-Wave.

Fase 4: Adjudicação de Fronteira

Uma única chamada a um poderoso LLM de fronteira (ex: Claude Sonnet 4.6 ou Opus 4.6) é feita. O modelo recebe a pergunta, todas as opções e os subconjuntos de evidências selecionados pelo HUBO para cada resposta candidata, rotulados por suas respectivas hipóteses. O modelo de fronteira atua como um adjudicador, selecionando a opção mais fortemente sustentada pelo ensemble de evidências otimizado.

3. Principais Contribuições

1. Framework de Evidência-Pool HUBO: O artigo define uma formulação de problema de traça aumentada onde a seleção de evidência é um problema de otimização estruturada. Introduz uma estratégia de otimização por pool de hipóteses que permite que hipóteses minoritárias compitam efetivamente contra sinais majoritários.
2. Análise Teórica: Os autores fornecem uma análise teórica provando que:
   • Os pesos HUBO são independentes do tamanho do pool de traças (ao contrário de métodos baseados em frequência).
     ção de permutação invariante.
   • O método fornece um limite inferior para mitigar vieses do adjudicador (ex: viés de posição).
3. Avaliação Empírica: O estudo avalia o EP-HUBO em dois benchmarks jurídicos (MMLU-Pro Law e LEXam) utilizando tanto o solver de Simulated Annealing clássico quanto a máquina quântica Dirac-3. Utiliza dois geradores de traça local diferentes e dois adjudicadores de fronteira.

4. Resultados Experimentais

Desempenho no MMLU-Pro Law (Common Law)

• vs. Voto de Maioria (MV): O EP-HUBO supera significativamente o MV. Com o adjudicador Opus e traças Qwen-35B, alcançou um ganho de +12,6 pontos percentuais (pp). Com traças OSS-20B, o ganho foi de +27,9 pp.
• vs. Zero-Shot (ZS): O EP-HUBO proporciona ganhos mensuráveis sobre chamadas diretas de fronteira. Com o Opus, melhorou a precisão ZS em +1,5 pp (traças Qwen-35B) e +0,7 pp (traças OSS-20B).
• Precisão do HUBO: A precisão (razão de vitórias sobre o total de desentendimentos com ZS) excedeu 50% para a maioria das configurações, indicando que, quando o HUBO discorda do modelo zero-shot, ele tem maior probabilidade de estar correto.

Desempenho no LEXam (Direito Suíço/Internacional)

O LEXam serve como um benchmark de baixa contaminação com dados de treinamento limitados para modelos de fronteira.

• Mitigação de Viés: O Claude Sonnet 4.6 zero-shot exibiu um severo viés de posição, selecionando a opção "E" em 87,7% das questões (vs. ~13% de ground truth), resultando em uma precisão de 22,3%.
• Impacto do EP-HUBO: Ao selecionar evidências, o EP-HUBO reduziu este viés. Com traças Qwen-35B, o HUBO+Sonnet alcançou 42,5% de precisão (um ganho de +20,2 pp sobre o ZS Sonnet) com uma precisão de HUBO de 92,0%.
• vs. Voto de Maioria: No LEXam, o MV era frequentemente fraco devido à dificuldade do domínio para modelos locais. O EP-HUBO com Opus alcançou +23,2 pp sobre o MV (traças OSS-20B).

Resolução Quântica vs. Clássica

• LEXam: O solver quântico Dirac-3 produziu resultados competitivos com o Simulated Annealing clássico. Em algumas configurações (ex: Qwen-35B + Opus), o solver quântico superou ligeiramente o SA clássico (+1,0 pp).
• MMLU-Pro Law: O solver quântico teve desempenho inferior ao SA clássico em 5–8 pp. Os autores atribuem isso ao limite de 135 variáveis do Dirac-3 para objetivos de terceira ordem. Quando o pool de fragmentos excedia esse limite, o sistema precisava truncar o grafo de interação, enquanto o solver clássico operava no landscape HUBO completo e não truncado.

5. Significância e Alegações

O artigo afirma que o EP-HUBO oferece uma maneira fundamentada de agregar fragmentos de raciocínio que preserva hipóteses minoritárias, mas corretas, o que é particularmente valioso em domínios de baixa contaminação, onde os modelos de fronteira ainda não absorveram o material do benchmark.

• Desacoplamento da Popularidade: A principal significância reside na mudança da lógica de agregação de "o que é mais comum" para "o que é melhor sustentado", permitindo que o sistema sobreponha-se a maiorias ruidosas.
• Exposição de Viés: O framework expõe e mitiga idiossincrasias específicas de modelos de fronteira, como o severo viés de posição observado no Claude Sonnet em questões de direito suíço.
• Utilidade Quântica: O trabalho demonstra que solvers HUBO inspirados em quantum podem ser competitivos com métodos clássicos em domínios especializados, desde que as restrições de hardware (como limites de variáveis) sejam gerenciadas. No entanto, os autores são modestos quanto à vantagem quântica, observando que atualmente é comparável ao SA clássico e limitado pela capacidade do hardware.
• Implantação Prática: Os autores enfatizam que, embora o EP-HUBO melhore a precisão e reduza o viés, não elimina a necessidade de revisão humana no loop em setores regulamentados, pois a transparência e os logs de auditoria das evidências selecionadas permanecem salvaguardas críticas.

O artigo conclui que o método é mais eficaz quando o gerador de traça local produz pools de evidências diversos e o adjudicador de fronteira é forte o suficiente para sintetizar a evidência otimizada, mas não tão forte a ponto de já ter memorizado o benchmark (baixa contaminação).