Resumo Técnico: Coerência sob Comprometimento (CUC)

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) implantados em domínios intensivos em conhecimento exibem um modo de falha crítico: a coerência vacante. Métricas de avaliação padrão priorizam a consistência lógica (por exemplo, consistência de negação, onde um modelo não afirma simultaneamente uma proposição e sua negação). No entanto, um modelo pode satisfazer trivialmente essas restrições de consistência ao abster-se sistematicamente de fazer qualquer julgamento decisivo. Ao reter o comprometimento tanto com a implicação quanto com a refutação, um modelo alcança zero contradições lógicas, mas fornece zero utilidade de raciocínio.

Em ambientes de alto risco (ex.: diagnósticos clínicos, raciocínio científico), esse comportamento "seguro" é indistinguível de uma confiabilidade genuína sob métricas padrão. Um modelo que se recusa a responder a 90% das consultas parece "coerente", mas é operacionalmente inútil. Os paradigmas de avaliação atuais falham em detectar isso porque medem a coerência isoladamente, ignorando o comprometimento epistêmico exigido para o raciocínio acionável.

Metodologia: Coerência sob Comprometimento (CUC)

Os autores propõem a Coerência sob Comprometimento (CUC), um paradigma de avaliação de consulta dupla projetado para medir conjuntamente a coerência lógica e a decisividade epistêmica.

1. Protocolo de Elicitação de Consulta Dupla

Em vez de uma única consulta, o CUC constrói um par simétrico de consultas para cada premissa $P$ e hipótese $\phi$:

• $Q_\phi$: "$\phi$ é logicamente implicado por $P$?"
• $Q_{\neg\phi}$: "$\neg\phi$ é logicamente implicado por $P$?"

Para eliminar a variância de amostragem e artefatos de decodificação, o protocolo utiliza elicitação determinística. Ele extrai log-probabilidades normalizadas para respostas binárias (SIM/NÃO) diretamente dos logits do modelo:
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{SIM}|Q_\phi))}{\exp(\log P(\text{SIM}|Q_\phi)) + \exp(\log P(\text{NÃO}|Q_\phi))}$$
Isso gera uma massa de probabilidade para a resposta afirmativa tanto para a hipótese quanto para sua negação.

2. Métricas Principais

O framework define duas métricas primárias derivadas das probabilidades $\mathcal{P}(\phi)$ e $\mathcal{P}(\neg\phi)$:

• Pontuação de Comprometimento ($c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  Isso quantifica a massa de probabilidade total alocada a resultados decisivos. Uma pontuação baixa indica que o modelo trata a consulta como efetivamente desconhecida (abstenção), independentemente de ser coerente ou não.

• Violação de Coerência de Negação ($v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  Isso mede a extensão em que um modelo atribui mais do que uma unidade de massa de probabilidade a resultados mutuamente exclusivos. Um valor $>0$ indica incoerência lógica (sobre-comprometimento simultâneo).

Insight Chave: O artigo estabelece a identidade algébrica $v_{neg} = \max(0, c - 1)$. Isso implica que qualquer modelo com $c(\phi) \leq 1$ alcançará automaticamente zero violação, independentemente de sua qualidade de raciocínio. Assim, baixas taxas de violação podem ser um artefato de baixo comprometimento.

3. Estrutura de Decisão de 3 Vias

Para operacionalizar essas métricas, os autores definem uma regra de decisão com limiares $\tau$ (confiança) e $\delta$ (margem):

• VERDADEIRO: Se $\mathcal{P}(\phi) \geq \tau$ e $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$.
• FALSO: Se $\mathcal{P}(\neg\phi) \geq \tau$ e $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$.
• INCERTO: Caso contrário.

Isso permite que a avaliação reporte Cobertura (fração de previsões não-INCERTAS) e Acurácia Condicional ($Acc_{cov}$), distinguindo modelos que são precisos mas se abstêm daqueles que são decisivos mas contraditórios.

Configuração Experimental

• Datasets: Avaliado no FOLIO v0.0 (204 exemplos com negações formalmente verificadas) e LOGIQA v2 (304 exemplos com negação baseada em regras).
• Modelos: Quatro modelos de pesos abertos (1.1B–3B parâmetros): TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B e Qwen2.5-3B.
• Protocolo: Extração determinística de log-probabilidade sobre tokens SIM/NÃO.

Principais Resultados

1. A Fronteira Coerência-Comprometimento

Experimentos revelam uma fronteira de compromisso (trade-off) nítida e empiricamente robusta. Nenhum modelo atinge simultaneamente alta cobertura e baixa violação.

• Abstenção Sistemática (Qwen2.5-3B): Alcança a menor taxa de violação ($E[v_{neg}] = 0.025$), parecendo "melhor" sob métricas de coerência pura. No entanto, possui uma pontuação de comprometimento de $0.115$ e 7,4% de cobertura, retendo previsões em mais de 92% dos exemplos.
• Sobre-comprometimento Sistemático (TinyLlama-1.1B): Alcança 79,4% de cobertura, mas viola axiomas de probabilidade em 100% dos exemplos ($E[v_{neg}] = 0.698$), atribuindo $>1,6$ de massa de probabilidade a resultados contraditórios.
• Modelos Intermediários: Phi-2 e Qwen2.5-1.5B ocupam posições intermediárias, exibindo graus variados de tanto abstenção quanto contradição.

2. Falha da Avaliação Padrão

• Cegueira de Acurácia: As pontuações de acurácia de 3 vias padrão são quase idênticas entre os modelos (variando apenas de 0,343 a 0,441), mascarando os modos de falha diametralmente opostos de abstenção vs. sobre-comprometimento.
• Armadilha da Coerência Única: Uma avaliação de apenas coerência classificaria o Qwen2.5-3B como o modelo superior (6,6× menor violação que o próximo melhor), recompensando incorretamente um modelo que fornece quase nenhum raciocínio acionável.
• Ilusão de Calibração: Mesmo no pequeno subconjunto de previsões comprometidas, os modelos mostram má calibração (alto Erro de Calibração Esperada). A aparente calibração do Qwen2.5-3B é um artefato de seu filtragem agressiva (selecionando apenas os 7% de exemplos mais fáceis).

3. Efeitos de Escalonamento

O escalonamento do Qwen2.5 de 1.5B para 3B parâmetros resultou em uma redução de 83% no comprometimento e uma queda de 23,5 pontos na cobertura, com mudança insignificante na acurácia. O modelo maior aprendeu a hesitar (abster-se) em vez de raciocinar com mais precisão, um comportamento que métricas padrão interpretariam erroneamente como uma melhoria na coerência.

Significância e Alegações

O artigo argumenta que a avaliação do raciocínio lógico deve mudar de perguntar "O modelo é coerente?" para "O modelo é utilitariamente coerente?".

1. Coerência Vacante é um Ponto Cego: Métricas padrão não conseguem distinguir entre um modelo que raciocina corretamente e um que simplesmente se recusa a responder. O CUC expõe isso ao exigir comprometimento não-vacante.
2. A Fronteira é Inevitável: Existe uma tensão fundamental entre coerência e comprometimento. Modelos que otimizam uma dimensão frequentemente degradam a outra.
3. Agnosticismo de Modalidade: Embora instanciado em texto, o framework é teoricamente aplicável a configurações multimodais (ex.: VQA, robótica) onde consultas complementares podem ser feitas sobre imagens e texto.
4. Necessidade Metodológica: Os autores afirmam que reportar tanto coerência quanto comprometimento é essencial para implantações de alto risco onde a abstenção carrega custos operacionais reais. O CUC fornece o primeiro framework principista para quantificar esse trade-off e evitar o deployment de modelos que são "coerentes" apenas porque estão silenciosos.

O artigo conclui que, sem métricas como o CUC, os praticantes correm o risco de implantar modelos que parecem confiáveis, mas que são funcionalmente inertes em domínios intensivos em conhecimento.