Resumo Técnico: "Podem os LLMs Classificar? Um Conto de Triades e Triagem"

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como "juízes" para tarefas de alocação de recursos de alto risco, como priorizar famílias para habitação de emergência ou realizar a triagem de pacientes em departamentos de emergência. Embora os LLMs demonstrem um raciocínio sofisticado, seus resultados são sensíveis à ordem de apresentação e ao enquadramento do prompt, o que os torna frágeis para classificar grandes grupos simultaneamente. Uma estratégia de mitigação comum, fundamentada na teoria da escolha social, é elicitar comparações pareadas e agregá-las em uma ordem total.

No entanto, uma lacuna crítica permanece: os profissionais carecem de um método confiável para avaliar se os julgamentos pareados de um LLM são suficientemente consistentes para confiar na classificação resultante antes da implantação. A literatura existente frequentemente trata métricas de consistência e precisão de classificação como preocupações separadas, falhando em explorar a relação entre a consistência intra-execução (a consistência lógica interna de um único conjunto de julgamentos) e a variância inter-execução (a estabilidade do resultado da classificação ao longo de múltiplas execuções). Este artigo investiga se esses dois eixos de confiabilidade são independentes e como eles se comportam tanto em aplicações de LLM sintéticas quanto no mundo real.

Metodologia

Estrutura Teórica

Os autores propõem uma taxonomia de $2 \times 2$ para a confiabilidade de classificação definida por dois eixos independentes:

1. Consistência Intra-Execução (IC): Medida pelo Coeficiente de Consistência ($\zeta$). Originalmente desenvolvido por Kendall e Smith, o $\zeta$ quantifica a confiabilidade do juiz contando triades circulares (triplas $\{a, b, c\}$ onde $a \succ b \succ c \succ a$) em um grafo de torneio. Um valor de $\zeta = 1$ indica transitividade perfeita, enquanto $\zeta = 0$ indica ciclicidade máxima. O artigo deriva o comportamento assintótico de $\zeta$ conforme o número de candidatos $n$ aumenta, mostrando que ele depende de uma taxa de inconsistência $r$ e de um fator de escala.
2. Variância Inter-Execução (IV): Medida pela distância de Kendall's $\tau$ entre classificações geradas por execuções independentes do mesmo pipeline. Isso captura a estabilidade da classificação final.

Os autores caracterizam teoricamente a relação entre $n$, $\zeta$ e $\tau$ sob o modelo Bradley-Terry-Luce (BTL), um modelo generativo padrão para comparações pareadas com verdade fundamental conhecida.

Design Experimental

O estudo avalia essas métricas em dois domínios:

• Alocação de Habitação para Sem Teto: Usando registros de entrada coordenada de St. Louis (VI-SPDAT, VIF-SPDAT, TAY-VISPDAT) para adultos solo, famílias e jovens em transição de idade.
• Triagem de Departamento de Emergência: Usando dados MIMIC-IV com rótulos de Índice de Gravidade de Emergência (ESI).

Modelos: Três LLMs líderes foram testados localmente: Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B e Qwen2.5-7B-Instruct.

Procedimento:

1. Avaliação de Subtorneio: Para cada conjunto de dados, um subtorneio completo de $m=30$ itens foi gerado ($435$ comparações pareadas por modelo). $\zeta$ foi computado exatamente, e a autoconsistência ($\tau_{cons}$) foi medida via subamostragem de bootstrap.
2. Pipeline Esparsa Completa: O pipeline foi executado em conjuntos maiores ($n$ até 698) com probabilidade de amostragem de aresta $p=0.4$ para simular restrições do mundo real. Os autores mediram como $\hat{\zeta}$ (estimado a partir de dados esparsos) e $\tau_{cons}$ escalaram com $n$.

Principais Contribuições

1. Caracterização Teórica de $\zeta$: O artigo prova que, sob o modelo BTL com discriminabilidade fixa, a taxa de inconsistência $r$ diminui como $\Theta(1/n^2)$, fazendo com que $\zeta$ convirja para 1 conforme $n$ aumenta. Isso estabelece uma linha de base teórica onde a consistência melhora com a escala.
2. Desacoplamento dos Eixos de Consistência: Através de experimentos sintéticos, os autores demonstram que $\zeta$ e $\tau_{cons}$ são correlacionados, mas não redundantes. Especificamente, $\zeta$ mede a qualidade do sinal de comparação (intransitividade), enquanto $\tau_{cons}$ depende tanto da qualidade do sinal quanto da quantidade de comparações disponíveis por item.
3. Divergência Empírica em Dados Reais: Contrariando o modelo BTL, os dados de LLM do mundo real exibem uma taxa de inconsistência constante ($r$) conforme $n$ aumenta. Consequentemente, $\zeta$ estabiliza-se próximo a um piso assintótico em vez de melhorar, enquanto $\tau_{cons}$ continua a aumentar com $n$ devido ao acúmulo de pontos de dados.
4. Perfis de Desempenho Específicos do Modelo: O estudo revela que nenhum LLM domina ambos os eixos.
   • LLaMA: Consistentemente alcança a maior consistência intra-execução ($\zeta$), mas exibe menor estabilidade inter-execução.
   • Qwen: Alcança a maior estabilidade inter-execução ($\tau_{cons}$), mas possui a menor consistência intra-execução.
   • DeepSeek: Tipicamente ocupa um meio-termo em ambas as dimensões.

Resultados

• Comportamento Sintético vs. Real: Em dados sintéticos BTL, $\zeta$ aumenta com $n$. Em dados reais gerados por LLM, $\zeta$ permanece aproximadamente constante através de diferentes valores de $n$, indicando que a taxa de inconsistência $r$ não diminui com a escala como previsto pelos modelos idealizados.
• Utilidade Diagnóstica: O estimador esparso $\hat{\zeta}$ mostra-se não enviesado através de diferentes probabilidades de observação ($p$), permitindo que profissionais estimem a qualidade da comparação mesmo com dados incompletos.
• Compromissos (Trade-offs): O artigo destaca um compromisso crítico: um modelo com alto $\zeta$ (LLaMA) pode produzir classificações que são internamente lógicas, mas instáveis entre execuções, enquanto um modelo com alto $\tau_{cons}$ (Qwen) pode produzir classificações estáveis, mas internamente intransitivas.

Significância e Alegações

O artigo afirma que confiar em uma única métrica (seja $\zeta$ ou $\tau_{cons}$) é insuficiente e potencialmente enganoso para avaliar a confiabilidade de LLMs em tarefas de classificação de alto risco.

• Eixos Independentes: Os autores afirmam que a consistência intra-execução e a variância inter-execução são eixos de confiabilidade genuinamente independentes. Um sistema pode ser internamente consistente, mas instável (baixo IV, alto IC), ou estável, mas internamente intransitivo (alto IV, baixo IC).
• Protocolo de Diagnóstico Prático: O artigo propõe um diagnóstico de duas etapas para profissionais:
  1. Executar um subtorneio pequeno e completo para computar $\zeta$. Se $\zeta$ for baixo, o processo de comparação é fundamentalmente intransitivo, e nenhuma quantidade de dados adicionais corrigirá a classificação.
  2. Se $\zeta$ for alto, mas $\tau_{cons}$ for baixo, o problema é a quantidade insuficiente de dados, não a qualidade do sinal; a solução é aumentar a fração de amostragem em vez de mudar o modelo.
• Seleção de Modelo: Os resultados sugerem que a seleção de modelos deve ser específica ao domínio. Se um stakeholder prioriza a coerência lógica dos julgamentos individuais, o LLaMA pode ser preferido. Se priorizam a estabilidade do output final entre execuções, o Qwen pode ser preferido.

O artigo conclui que a taxonomia proposta fornece um framework necessário para ir além de simples métricas de precisão rumo a uma compreensão mais matizada da confiabilidade da IA em tomadas de decisão consequentes.