Resumo Técnico: O Dilema da Consistência em LLMs

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implementados em pipelines de agentes, eles são frequentemente incumbidos de gerar saídas e, posteriormente, avaliar, filtrar ou revisar essas mesmas saídas sem verificação externa. Este fluxo de trabalho baseia-se em uma suposição implícita: que o modelo aplica conceitos relevantes de forma consistente entre seus papéis de geração e avaliação. Se um modelo emprega um entendimento de um conceito durante a geração e um entendimento diferente durante a avaliação, a etapa de revisão torna-se não confiável. O modelo pode sinalizar uma saída sólida com base em um critério que ignorou durante a geração, ou aceitar uma saída falha porque deixou de aplicar uma restrição que aplicava anteriormente.

Embora os benchmarks padrão meçam o conhecimento de conceitos de um modelo, eles não medem se o modelo aplica esses conceitos de forma estável entre diferentes papéis (gerador vs. avaliador). Além disso, não está claro se uma alta autossistência correlaciona-se com maior confiabilidade em implementações do mundo real, particularmente em cenários de alto risco onde a verificação de verdade fundamental (ground-truth) é dispendiosa.

Metodologia

1. Estrutura de Autossistência Gerador-Avaliador

Os autores propõem uma nova medida, autossistência gerador–avaliador, para testar a estabilidade da aplicação de conceitos. A estrutura opera sem rótulos de correção externos, comparando a saída do modelo contra o seu próprio uso anterior de um conceito.

• Estrutura: Para um determinado conceito $c$, um modelo é primeiro solicitado a gerar uma saída que atenda a um critério específico (Etapa de Gerador). O mesmo modelo é então solicitado a avaliar se sua saída gerada atende a esse critério (Etapa de Avaliador).
• Pontuação: Uma regra de pontuação determinística atribui um rótulo de concordância binária ($Z=1$ se consistente, $0$ caso contrário).
• Métricas: Os autores relatam uma taxa de consistência corrigida pelo acaso ($\hat{C}_{adj}$), normalizando a concordância bruta para considerar a probabilidade de base da concordância dado a estrutura do teste (ex: tentativa de adivinhação aleatória em múltipla escolha vs. julgamentos binários).

2. Taxonomia de Testes de Consistência

O conjunto de avaliação consiste em 12 testes automatizados organizados em três categorias qualitativas, aplicados em 491 conceitos extraídos de benchmarks de raciocínio geral (MMLU, BBH) e de foco em implementação (MedicalQA, GDPVal, FinanceQA):

• Perturbações de MCQ: Testa se o modelo permanece consistente quando uma questão de múltipla escolha é minimamente editada (ex: alterando a resposta correta para "Nenhuma das anteriores" ou deslocando a opção correta para uma letra diferente).
• Transformações Baseadas em Racional: Testa se o modelo consegue auditar seus próprios rastros de raciocínio. Isso inclui gerar respostas corretas/incorretas com raciocínios corretos/incorretos/incompletos e, em seguida, julgar se o raciocínio sustenta a resposta.
• Verificações Ontológicas: Testa se o modelo mantém uma organização coerente de conceitos. Isso envolve gerar exemplos, não-exemplos, atributos ou propriedades e, em seguida, validá-los sob prompts relacionados.

3. Estudo de Caso Clínico: Vulnerabilidade ao Erro

Para investigar a relação entre consistência e confiabilidade, os autores utilizam o MedMistakes-Validated, um conjunto de dados de vinhetas clinicamente realistas pareadas com erros de modelos validados por médicos.

• Vulnerabilidade ao Erro ($Y^*$): Para cada par (modelo, conceito), os autores medem a frequência com que o modelo reproduz modos de falha clínica validados. Isso é agregado usando um esquema ponderado para evitar a contagem dupla de erros com múltiplas etiquetas.
• Análise Estatística: Um modelo de logit fracionário ponderado é usado para regredir a vulnerabilidade ao erro contra a autossistência e o desempenho no benchmark (acurácia do MedQA), controlando o conhecimento médico de base.

Principais Resultados

1. Variação na Autossistência

Existe uma variação substancial na autossistência entre 10 modelos de fronteira (incluindo GPT-4o, variantes do GPT-5, Claude Opus/Sonnet, Gemini, DeepSeek e Mistral). Essa variação não pode ser explicada apenas pelo desempenho nas questões do benchmark de origem. Por exemplo, modelos como Gemini 3 e GPT-4o alcançaram concordância próxima ao teto em testes ontológicos, enquanto outros tiveram desempenho significativamente inferior em tarefas semelhantes.

2. O Dilema da Consistência

A descoberta central é uma associação positiva entre autossistência e vulnerabilidade ao erro em um cenário clínico.

• Descoberta Empírica: Modelos que são mais consistentes na forma como aplicam conceitos entre geração e avaliação são mais propensos a reproduzir erros validados por clínicos.
• Significância Estatística: Após controlar o desempenho no benchmark, o coeficiente para autossistência é positivo e significativo ($\hat{\beta}_2 = 1.116, p < 10^{-6}$).
• Entre Modelos vs. Dentro do Modelo: Esta relação ocorre entre modelos (ou seja, o Modelo A é mais consistente e mais vulnerável que o Modelo B), mas não prevê a vulnerabilidade dentro de um único modelo através de diferentes conceitos. Quando efeitos fixos de modelo são adicionados, a associação desaparece, sugerindo que a autossistência é uma assinatura comportamental do modelo, em vez de um preditor de falha a nível de conceito.

3. Sensibilidade de Teste Específica

A associação é impulsionada significativamente pelo teste CFIR (Correto para Raciocínio Incompleto). Este teste verifica se um modelo gera uma resposta correta com raciocínio subespecificado e, em seguida, identifica corretamente que o raciocínio é insuficiente. Modelos que falham em sinalizar seu próprio raciocínio incompleto (comportamento inconsistente) tendem a ser menos vulneráveis a erros validados, enquanto modelos que são altamente consistentes (frequentemente sinalizando corretamente o raciocínio incompleto) são paradoxalmente mais propensos a reproduzir modos de falha clínicos específicos.

Significância e Alegações

O artigo afirma identificar um "dilema da consistência" em LLMs:

1. Utilidade Operacional: A autossistência é operacionalmente desejável para pipelines de agentes, pois reduz o desvio (drift) e suporta fluxos de trabalho como "LLM-como-juiz" ou autorrefinamento.
2. Troca de Confiabilidade (Trade-off): No entanto, no cenário de implementação estudado (clínico), uma maior autossistência está ligada a uma maior vulnerabilidade a erros conhecidos e validados.

Implicações Práticas:

• Seleção de Modelos: Profissionais não devem assumir que um modelo mais autossistente é inerentemente mais seguro. Em cenários de alto risco, modelos altamente consistentes podem exigir supervisão humana mais rigorosa ou avaliação externa, em vez de depender de autocritica autônoma.
• Ferramenta de Diagnóstico: A estrutura proposta, automatizada e de caixa-preta, fornece um método escalável para diagnosticar riscos de confiabilidade impulsionados por erros sistemáticos repetidos, complementando os benchmarks tradicionais de acurácia de turno único.

Limitações:
Os autores observam que a análise de implementação é observacional, não causal. Os resultados são específicos para um conjunto curado de erros validados por clínicos e podem não se generalizar para todos os erros de implementação. Adicionalmente, a extração de conceitos depende de rótulos gerados pelo modelo, o que pode introduzir erro de medição se as questões envolverem múltiplos conceitos interagentes.

Em conclusão, o artigo argumenta que a consistência é uma propriedade comportamental distinta da acurácia e que uma maior consistência não se traduz automaticamente em maior segurança em cenários complexos do mundo real.