Resumo Técnico: Da Seleção de 0ª Ordem ao Julgamento de 2ª Ordem

Declaração do Problema

Os benchmarks de questões de múltipla escolha (MCQ) para Modelos de Linguagem de Grande Escala (LLMs) enfrentam dois desafios críticos: saturação rápida devido ao avanço das capacidades dos modelos e contaminação de dados que mina avaliações estáticas. Embora os Modelos de Raciocínio Avançado (LRMs) tenham alcançado precisão superhumana em benchmarks padrão de raciocínio lógico (por exemplo, LogiQA, MMLU), esse desempenho frequentemente decorre da memorização do conjunto de treinamento e da exploração de padrões superficiais (viés de posição, sobreposição lexical) em vez de uma verdadeira implicação lógica.

Os métodos existentes de "endurecimento", como paráfrase, perturbações adversariais ou distratores "Nenhuma das Alternativas" (NOTA), tentam aumentar a dificuldade, mas falham em abordar a questão central. Essas abordagens permanecem como tarefas de seleção de 0ª ordem, onde o modelo identifica uma única opção correta entre candidatos. Elas não elevam a ordem lógica do raciocínio, permitindo que modelos avançados contornem restrições lógicas profundas por meio de verificação estendida de cadeia de pensamento (CoT) ou correspondência de padrões. Consequentemente, os benchmarks atuais não conseguem desafiar modelos de raciocínio mais avançados nem expor lacunas fundamentais na lógica composicional.

Metodologia: O Framework LogiHard

Os autores propõem o LogiHard, um framework formal que transforma determinísticamente MCQs de 0ª ordem em tarefas de julgamento lógico de 2ª ordem. Essa transformação aumenta a sobrecarga cognitiva e os passos de raciocínio, garantindo ao mesmo tempo a validade por construção. O framework consiste em três componentes sinérgicos:

1. Protocolo Combinatório Determinístico

Em vez de perturbação estocástica, o LogiHard mapeia opções atômicas para variáveis proposicionais e sintetiza fórmulas compostas usando conectivos lógicos ($\land, \lor, \neg$).

• Transformação: Uma questão atômica $Q = (C, O, a)$ é convertida em uma questão combinatória $Q' = (C', \Phi, A)$. O contexto $C'$ inclui declarações em linguagem natural correspondentes às opções atomizadas. O conjunto de fórmulas $\Phi$ contém proposições compostas (por exemplo, exatidão, disjunção, negação, negação composta) que o modelo deve avaliar sob a atribuição de verdade derivada da resposta original.
• Validade por Construção: O conjunto de respostas corretas $A$ é logicamente consistente com a verdade atômica de base. A opção atômica nunca aparece diretamente na saída; apenas seu correspondente proposicional dentro de fórmulas compostas o faz. Isso torna a memorização de padrões superficiais ineficaz.
• Níveis de Dificuldade: A complexidade é calibrada por meio da hierarquia de operadores:
  • Fácil: Apenas Exatidão ($\land$).
  • Médio: Adiciona Disjunção ($\lor$).
  • Difícil: Adiciona Negação ($\neg$).
  • Especialista: Adiciona Negações Compostas.

2. Pontuação de Dificuldade Cognitiva

Para garantir que as questões-fonte sejam intrinsecamente desafiadoras antes da transformação, o framework emprega um módulo de pontuação cognitiva.

• Métricas: Ele extrai nove dimensões dos rastros de pensamento do modelo (por exemplo, pontos de oscilação, densidade lógica, profundidade abductiva, comprimento da cadeia de inferência).
• Pontuação Ouro: Essas métricas são agregadas em uma "Pontuação Ouro" ponderada para estratificar as questões em níveis (Fácil, Médio, Difícil, Especialista). Apenas os níveis Difícil e Especialista passam pela transformação combinatória para evitar efeitos de piso.

3. Avaliação Dinâmica via IRT-CAT

O LogiHard integra a Teoria de Resposta ao Item (IRT) e o Teste Adaptativo Computadorizado (CAT) para abordar a ineficiência dos benchmarks estáticos.

• Seleção Adaptativa: O sistema seleciona dinamicamente os itens mais informativos com base na estimativa atual de capacidade do modelo ($\hat{\theta}$), maximizando a informação de Fisher.
• Estimativa de Duplo Subconjunto: Ele estima separadamente a capacidade no raciocínio atômico (0ª ordem) e combinatório (2ª ordem), permitindo uma medição precisa da "lacuna combinatória" ($\Delta\theta$).
• Eficiência: Essa abordagem alcança precisão de medição equivalente a testes estáticos de 60 itens usando apenas 15–25 questões selecionadas adaptativamente.

Contribuições Principais

1. Síntese de Dureza com Garantia de Validade: Um protocolo determinístico que eleva o raciocínio da seleção de 0ª ordem ao julgamento de 2ª ordem. Ele resiste à memorização ao garantir que a resposta correta determine a atribuição de verdade sem que a opção atômica apareça na saída, eliminando o desvio semântico encontrado em métodos adversariais.
2. Controle Dinâmico de Dificuldade: Um sistema unificado que combina configurações de operadores em camadas para calibração no momento da geração e CAT baseado em IRT para direcionamento preciso e eficiente da capacidade.
3. Identificação de Falha de Raciocínio: A instanciação do LogiHard-2k, um conjunto de dados de 2.000 questões de exames de alto risco, revela uma falha fundamental de seleção múltipla e uma lacuna de raciocínio combinatório em modelos de fronteira.

Resultados Experimentais

O framework foi avaliado em doze modelos de última geração (incluindo GPT-5.4, o3, Claude-Opus-4.6, DeepSeek-R1 e Qwen3.6-plus) e comparado com avaliadores humanos.

• Degradação de Precisão: Os modelos exibiram quedas severas de desempenho em questões endurecidas combinatoriamente, com degradação de precisão variando de 31% a 56%. Por exemplo, o Qwen3.6-plus caiu de 51,67% (H-Base) para 5,00% (H-Comb).
• Níveis de Resiliência: Os modelos foram categorizados em três níveis com base na queda de capacidade latente ($\Delta\theta$). Os modelos mais resilientes (por exemplo, GLM-5, GPT-5.4) mostraram uma queda de $\approx 1,05–1,11$, enquanto outros (por exemplo, GLM-4.7) sofreram um colapso de $\Delta\theta = 3,14$.
• Assimetria Humano vs. Máquina: Os avaliadores humanos alcançaram 79,5% de precisão em questões Combinatórias-Difíceis ($\Delta\theta \approx 0,28$), superando significativamente até mesmo os modelos mais resilientes.
• Gargalo de Seleção Múltipla: A desagregação revelou um modo de falha específico: a precisão caiu de 31,2% para questões de opção única correta para 12,4% para questões de seleção múltipla ($n_{correto} \ge 2$).
• Transferência Zero-Shot: Quando aplicado ao MMLU sem adaptação de domínio, o framework mostrou uma degradação de precisão de 47% (89,84% $\to$ 42,86%), confirmando que a lacuna é agnóstica ao domínio e decorre da arquitetura de raciocínio, e não de déficits de conhecimento.

Análise Mecanística e Significado

O artigo identifica a causa raiz da falha como uma lacuna de mapeamento combinatório e não como uma falta de conhecimento lógico.

• Falha em Duas Etapas: Os modelos realizam com sucesso a Etapa 1 (avaliar atribuições de verdade atômicas), mas falham na Etapa 2 (traduzir essas verdades em conjuntos completos de opções de seleção múltipla).
• Viés Induzido pelo Treinamento: A falha é atribuída a um viés de saída antecipada nos pipelines de treinamento. Os modelos são otimizados para seleção de resposta única ("a primeira resposta correta vence") e carecem de gatilhos metacognitivos para verificação de completude de conjuntos de valores. Isso leva à subseleção, onde os modelos identificam opções válidas, mas falham em enumerar o conjunto completo.
• Significado: O LogiHard demonstra que os modelos de fronteira atuais carecem de satisfação robusta de restrições proposicionais. O framework fornece um protocolo de avaliação agnóstico ao domínio e resistente à contaminação que isola a capacidade de raciocínio do conhecimento de domínio. Isso sugere que regimes de treinamento futuros devem incorporar elevação combinatória determinística para instilar satisfação de restrições de conjuntos de valores, indo além da atual dependência da saturação de benchmarks superficiais.

Os autores concluem que a distinção entre "conhecer a lógica" e "compor a lógica" permanece um teto persistente para o raciocínio de máquinas e que os benchmarks estáticos estão se aproximando da obsolescência para avaliar capacidades reais de raciocínio.