From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options

Resumo Técnico: Raciocínio Composicional Estruturado sobre Opções de Respostas Compostas

Definição do Problema
Grandes Modelos de Linguagem (LLMs) frequentemente falham ao serem incumbidos de selecionar opções de resposta que exigem a combinação de julgamentos atômicos sob operadores lógicos explícitos (AND, OR, NEITHER/NOR). Embora os modelos frequentemente avaliem corretamente proposições atômicas individuais, eles têm dificuldade em compor esses julgamentos em uma decisão final coerente. Essa "lacuna de composicionalidade" sugere que a falha não decorre da falta de conhecimento, mas da dificuldade em representar e combinar possibilidades lógicas. Os métodos de prompting padrão fundem a avaliação atômica e a composição lógica em um único passo de geração, não deixando mecanismo para diagnosticar erros ou impor restrições lógicas. Além disso, os modelos frequentemente degradam significativamente em composições disjuntivas e estruturas negadas (ex: NEITHER/NOR), um padrão consistente com teorias de modelos mentais do raciocínio humano, onde a dificuldade escala com o número de possibilidades que um raciocinador deve manter.

Metodologia
Os autores propõem um framework que desacopla a elicitação de evidências atômicas da composição lógica, garantindo que o modelo nunca processe uma opção composta como um todo. O framework opera em três estágios:

1. Decomposição de Opções: Cada opção de resposta composta é decomposta deterministicamente em suas respostas atômicas constituintes e no operador booleano explícito que as conecta. Respostas atômicas compartilhadas entre múltiplas opções são tratadas como uma única entidade única ($U_C$), garantindo uma pontuação consistente para uma proposição, independentemente de onde ela apareça.
2. Elicitação de Evidência Contrastiva: Para cada resposta atômica única, o sistema constrói um par de hipóteses de linguagem natural opostas condicionadas ao contexto: uma afirmando que o átomo é sustentado ($h^+$) e outra afirmando que não é ($h^-$). O LLM é instruído a escolher a hipótese mais plausível. A pontuação de evidência bruta é derivada das probabilidades de log dos tokens de escolha, normalizadas para produzir uma pontuação de preferência relativa entre as duas hipóteses.
3. Calibração de Pontuação: As pontuações brutas são calibradas para melhorar a confiabilidade. Os autores introduzem a Calibração Relativa, um método que mapeia pontuações brutas para probabilidades calibradas usando um modelo de regressão logística. Diferente dos métodos post-hoc padrão (escalonamento de Platt, calibração isotônica) que dependem apenas de valores absolutos de pontuação, a Calibração Relativa incorpora características que representam a posição do átomo dentro da instância específica (ex: seu ranking entre outros átomos e sua distância da pontuação máxima). Isso permite que o sistema leve em conta o fato de que a validade de uma opção depende de como os átomos se comparam entre si.
4. Inferência Globalmente Restrita: As pontuações calibradas são alimentadas em um Programa de Programação Linear Inteira (ILP) com Operadores Restritos. O ILP define variáveis de decisão binárias para o status de cada resposta atômica e a validade de cada opção composta. Ele impõe restrições estritas que codificam a semântica dos operadores lógicos (ex: para AND, a opção é válida apenas se ambos os átomos forem verdadeiros; para NEITHER/NOR, válida apenas se ambos forem falsos). A função objetivo maximiza a evidência total (suporte menos oposição) para as atribuições atômicas sujeitas a essas restrições, garantindo que exatamente uma opção composta seja selecionada como a predição final.

Principais Contribuições

1. Framework Estruturado: Uma abordagem inovadora que elicita evidência contrastiva para respostas atômicas individuais e as combina via inferência de ILP com operadores restritos, isolando efetivamente a composição lógica da compreensão.
2. Calibração Relativa: Uma técnica de calibração que pontua respostas atômicas com base tanto em sua confiança quanto em sua posição relativa entre outros átomos na mesma instância, abordando as limitações da calibração independente em tarefas de múltiplas opções.
3. Benchmark LOGICAL-SATA: Um novo benchmark de compreensão de leitura derivado do SATA-Bench, especificamente projetado para avaliar o raciocínio de respostas compostas com operadores lógicos explícitos.
4. Avaliação Empírica: Avaliação abrangente em dois benchmarks distintos (LOGICAL-COMMONSENSEQA e LOGICAL-SATA) demonstrando que o framework supera significativamente o prompting direto, particularmente em operadores que tipicamente causam falhas nos modelos.

Resultados
O framework foi avaliado utilizando o Llama-3.1-8B-Instruct.

• Desempenho Geral: No split validado por humanos do LOGICAL-COMMONSENSEQA, o framework melhorou o Macro-F1 de 48.3 (melhor prompting direto) para 77.0. No LOGICAL-SATA, melhorou de 47.0 para 75.6.
• Ganhos Específicos por Operador: Os melhorias mais significativas foram observadas em NEITHER/NOR, onde o Macro-F1 subiu de 14.0 para 76.8 no LOGICAL-COMMONSENSEQA e de 12.6 para 73.4 no LOGICAL-SATA. As melhorias também foram substanciais para OR e configurações MIXED, enquanto os ganhos em AND foram mais modestos.
• Impacto da Calibração: A calibração relativa produziu o melhor desempenho, particularmente em configurações MIXED onde as opções empregam diferentes operadores. Ela reduziu os escores de Brier atômicos e o log loss de forma mais eficaz que o escalonamento de Platt ou isotônico, indicando um melhor tratamento de excesso de confiança e ordenação relativa.
• Análise de Erro: Quando fornecidos com os status atômicos reais (gold), a camada de inferência ILP alcançou 100% de precisão, confirmando que as restrições lógicas são perfeitamente codificadas. Os erros restantes foram atribuídos a falhas na elicitação inicial de evidência atômica (ex: má interpretação de modificadores ou tópicos do texto).

Significância e Alegações
O artigo alega que as falhas observadas em tarefas de raciocínio lógico decorrem frequentemente de dificuldades em compor julgamentos locais em vez de uma falta de conhecimento relevante. Ao separar explicitamente a avaliação de fatos atômicos da combinação lógica desses fatos, o framework preenche a lacuna de composicionalidade. Os resultados sugerem que os LLMs retêm evidências úteis sobre respostas atômicas individuais mesmo quando falham em combiná-las corretamente em uma única passagem. A introdução da calibração relativa destaca que a validade de um julgamento atômico em um cenário de múltipla escolha é frequentemente dependente do contexto das outras opções disponíveis. Os autores concluem que a inferência estruturada sob restrições explícitas é um caminho viável para melhorar o raciocínio lógico em LLMs, particularmente para estruturas negadas e disjuntivas complexas.