Resumo Técnico: Consistência Operádica como um Sinal Sem Rótulos para Falhas de Raciocínio Composicional

1. Declaração do Problema

Os modelos de linguagem de grande escala (LLMs) modernos, incluindo os recentes modelos de "pensamento" (thinking models), frequentemente geram cadeias de raciocínio fluentes e confiantes que falham ao se comporem em uma resposta final correta. Este fenômeno, conhecido como "lacuna de composicionalidade" (compositionality gap), representa um modo de falha crítico onde as subconclusões não se agregam logicamente à solução pretendida. Detectar essas falhas durante a inferência sem acesso a rótulos de verdade fundamental (ground-truth) é um desafio central na detecção de alucinações, calibração de modelos e predição seletiva.

As bases de confiança existentes em tempo de inferência geralmente se dividem em três categorias:

1. Métodos de amostragem e agregação: Como o CoT-SC (Chain-of-Thought Self-Consistency), que mede a variância através de saídas amostradas por temperatura.
2. Métodos baseados em entropia: Como a Entropia Semântica, que computa a entropia sobre clusters semânticos de amostras.
3. Métodos de autoavaliação: Como $P(\text{True})$, que elicita a própria probabilidade do modelo de que sua resposta esteja correta.

Os autores argumentam que esses métodos probe primariamente a diversidade de amostras ou a autoavaliação, que são frequentemente ortogonais à integridade estrutural do processo de raciocínio. Um modelo pode estar confiantemente errado com baixa variância de amostra, ou correto com alta variância. Há uma falta de métodos que testem diretamente se o raciocínio de um modelo é internamente composicional — isto é, se as subconclusões, quando levadas a sério e recompostas, produzem a mesma resposta final que a resposta direta do modelo.

2. Metodologia: O Operad de Perguntas e a Consistência Operádica

O artigo introduz um framework formal baseado na Teoria dos Operads, uma estrutura matemática projetada para estudar sistemas construídos por substituição iterada.

2.1 O Operad de Perguntas ($\mathcal{Q}$)

Os autores definem o Operad de Perguntas ($\mathcal{Q}$), onde:

• Operações: Correspondem a templates de perguntas com $k$ espaços em branco (aridade $k$).
• Composição: Definida pela substituição de um template de pergunta (com seus próprios espaços em branco) em um espaço em branco de outro template. Isso cria uma estrutura em forma de árvore de perguntas (Árvore de Perguntas, ou ToQ - Tree of Questions).
• Álgebras: Um modelo de linguagem é interpretado como uma álgebra sobre $\mathcal{Q}$. Idealmente, a resposta do modelo a uma pergunta composta deve ser igual ao resultado de responder sequencialmente suas subperguntas e substituir as respostas de volta na pergunta composta.

2.2 Consistência Operádica (OC)

A Consistência Operádica é definida como o predicado onde a resposta direta de um modelo a uma consulta complexa concorda com a resposta produzida pela composição de uma decomposição declarada dessa consulta.

• Instanciação: O artigo avalia isso em cadeias de profundidade-2 (uma pergunta raiz decomposta em dois passos: $Q_1 \to Q_2$).
• Protocolo:
  1. Caminho Direto: O modelo responde à pergunta original $Q$ diretamente.
  2. Caminho Decomposto: O modelo responde à subpergunta $Q_1$, substitui a resposta $A_1$ em $Q_2$ e responde ao $Q_2[A_1]$ resultante.
  3. Pontuação: A pontuação OC é o acordo semântico (0 a 1) entre a resposta direta e a resposta final decomposta, calculado usando pontuadores específicos do dataset (ex: SQuAD-F1, igualdade de valores para números, extração de sim/não).
• Custo: Isso requer exatamente 3 chamadas de modelo por pergunta (1 direta, 2 passos decompostos).

O framework se aplica tanto a modelos ajustados por instrução (não-pensantes) (onde as decomposições são fornecidas por anotadores humanos ou metadados do dataset) quanto a modelos de pensamento (onde a decomposição é extraída da própria cadeia de pensamento do modelo).

3. Principais Contribuições

1. Framework Teórico: A definição do Operad de Perguntas $\mathcal{Q}$ e a interpretação de LLMs como álgebras sobre $\mathcal{Q}$, fornecendo uma base formal para diagnosticar falhas de composicionalidade.
2. Sinal Empírico (OC): A proposta da Consistência Operádica como um sinal por pergunta que correlaciona fortemente com a acurácia.
3. Complementaridade: Demonstração de que a OC fornece informações preditivas distintas e complementares às bases padrão (CoT-SC, Entropia Semântica, $P(\text{True})$).
4. Utilidade de Implantação: Evidência de que combinar OC com CoT-SC melhora a predição seletiva (acurácia em cobertura fixa) com custos de inferência equivalentes.

4. Resultados Experimentais

O estudo avaliou 17 modelos (12 ajustados por instrução, 5 modelos de pensamento) em quatro datasets de QA multi-salto (HotpotQA, MuSiQue, StrategyQA, DROP) e um dataset de matemática (GSM8K para modelos de pensamento).

4.1 Correlação de Acurácia entre Modelos

• Força Uniforme: A OC mostra uma forte correlação de Pearson ($r \in [0.86, 0.94]$) com a acurácia do modelo em todos os quatro datasets.
• Comparação: O CoT-SC (em $K=10$) iguala a OC no HotpotQA ($r=0.93$) e no DROP ($r=0.87$), mas colapsa no MuSiQue ($r=0.43$) e no StrategyQA ($r=0.46$). A Entropia Semântica e $P(\text{True})$ também falham em manter alta correlação em todos os datasets.
• Estimativa Sem Rótulos: Usando um protocolo de deixar um modelo de fora (leave-one-model-out), a taxa de OC de um modelo retido prevê sua acurácia com um Erro Médio Absoluto (MAE) de 3.0 pontos percentuais, superando significativamente o CoT-SC ($K=10$), que possui um MA de 4.6 pp.

4.2 Poder Preditivo por Pergunta

• Regressão Logística: Ao prever a correção em uma base por pergunta, a OC contribui com informação marginal significativa mesmo controlando por CoT-SC, Entropia Semântica e bases conscientes de decomposição (ex: autoconsistência decomposta). O coeficiente para OC é altamente significativo ($p \le 10^{-16}$) em todos os datasets.
• Bases Conscientes de Decomposição: O artigo testou a "autoconsistência decomposta" (amostrando apenas o segundo passo da decomposição) e um Modelo de Recompensa de Processo (Skywork-PRM). Nenhum deles alcançou a correlação uniforme entre modelos da OC, e nenhum deslocou a significância da OC em regressões conjuntas.

4.3 Predição Seletiva

• Modelos Não-Pensantes: Com um orçamento de custo igual ($K=3$ chamadas), adicionar OC a uma base CoT-SC melhorou o AUARC em +0.086 a +0.096 e o AUROC em +0.092 a +0.164 em todos os quatro datasets. Intervalos de confiança de bootstrap de 95% excluíram o zero para cada célula.
• Modelos de Pensamento: Em cinco modelos de fronteira de pensamento, onde as decomposições foram extraídas de sua própria cadeia de pensamento, o combinador OC + Autoconsistência mostrou aumentos de estimativa pontual em todas as 16 células testadas (dataset, orçamento, métrica), sendo que 12 de 16 possuíam ICs de 95% excluindo o zero.

5. Significância e Alegações

O artigo afirma que a Consistência Operádica oferece um diagnóstico estrutural para o raciocínio de LLMs que é fundamentalmente diferente de sinais baseados em variância.

• Mecanismo: Enquanto o CoT-SC e a Entropia Semântica medem o quanto a saída do modelo varia, a OC mede se os passos de raciocínio do modelo coesos. Ela pergunta: "Se eu quebrar este problema e colocá-lo de volta, eu obtenho a mesma resposta?"
• Robustez: O sinal é robusto à escolha do pontuador de correção (validado via LLM-judge e outros pontuadores) e mantém-se em modelos que variam de 4B a 671B de parâmetros, bem como em sistemas de pesos abertos e de código fechado.
• Praticidade: A OC é um sinal de inferência em tempo real sem necessidade de rótulos, tornando-a adequada para estimativa de confiança em tempo real e predição seletiva em ambientes de produção.
• Limitações: Os autores observam que a OC é uma condição necessária, mas não suficiente, para a correção (ocorrem falsos positivos quando o modelo está consistentemente errado; ocorrem falsos negativos quando o caminho direto é correto, mas o caminho decomposto falha). Portanto, eles recomendam implantar a OC como parte de um stack de múltiplos sinais, em vez de um gate isolado.

O trabalho posiciona o Operad de Perguntas não apenas como um vocabulário descritivo, mas como um framework generativo para derivar novos sinais de diagnóstico, sugerindo direções futuras envolvendo árvores mais profundas, decomposições ramificadas e álgebras sobre outras quantidades (ex: confiança, custo).