Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

Resumo Técnico: Rumo à Detecção Consistente de Distorções Cognitivas

Enunciado do Problema
A detecção automatizada de Distorções Cognitivas (DCs) — padrões de pensamento enviesados associados a condições de saúde mental como depressão e ansiedade — enfrenta um desafio fundamental: a subjetividade. Conjuntos de dados existentes frequentemente sofrem de baixa concordância inter-avaliadores (CIA) entre especialistas humanos, levando a rótulos "padrão-ouro" ruidosos e pouco confiáveis. Modelos treinados em dados tão inconsistentes lutam para generalizar, frequentemente resultando em métricas de desempenho baixas (por exemplo, pontuações F1 ponderadas entre 0,2 e 0,4). Além disso, comparar modelos treinados em conjuntos de dados com características diferentes (tamanhos, distribuições de rótulos ou qualidades de anotação) usando métricas tradicionais como a pontuação F1 é problemático, pois os valores absolutos de desempenho não são diretamente comparáveis entre benchmarks heterogêneos.

Metodologia
Os autores propõem uma abordagem de duas frentes: um framework de anotação baseado em LLM para gerar rótulos consistentes e uma métrica de avaliação agnóstica a conjuntos de dados para comparar o desempenho dos modelos de forma justa.

1. Framework de Anotação Baseado em LLM:

   • Hipótese: Em vez de confiar em uma única previsão de LLM, os autores hipotetizam que múltiplas execuções independentes de um LLM no mesmo texto revelarão padrões de rotulagem estáveis. A recorrência consistente de um rótulo entre execuções é tratada como um sinal de confiabilidade interna, servindo como um proxy para a verdade fundamental na ausência de consenso humano.
   • Procedimento: O estudo utiliza o conjunto de dados publicamente disponível "Therapist Q&A" (2.530 pares de usuário-resposta). Os autores empregam os modelos GPT-4 e GPT-4o via API com duas configurações de temperatura (0,5 e 0,7) para controlar a aleatoriedade.
   • Prompting: Dois tipos de prompt são utilizados: um Prompt de Multi-Rótulo (MLP) permitindo a atribuição não restrita de DCs, e um Prompt de Rótulo Ranqueado (RLP) restringindo o modelo a selecionar a DC mais dominante (mais uma secundária opcional).
   • Filtragem de Consistência: Cada entrada é processada através de cinco execuções independentes por configuração. Rótulos que aparecem em pelo menos 4 de 5 execuções são selecionados como anotações finais. Pontos de dados que falham nesse limite são marcados como ambíguos e excluídos para garantir robustez.

2. Avaliação Agnóstica a Conjuntos de Dados:

   • Desafio: Métricas padrão (por exemplo, pontuação F1) não podem comparar de forma justa modelos treinados em conjuntos de dados com diferentes distribuições de rótulos ou tamanhos.
   • Solução: Os autores introduzem uma métrica de tamanho de efeito normalizada baseada no Kappa de Cohen ($\kappa_{F1}$).
   • Cálculo:
     • Uma Linha de Base Aleatória ($F1_{random}$) é calculada teoricamente com base na distribuição de classes do conjunto de dados, representando o desempenho esperado de um modelo que meramente espelha o desequilíbrio de classes sem aprender.
     • O Desempenho do Modelo ($F1_{calculated}$) é a pontuação F1 ponderada do modelo treinado.
     • A métrica é computada como: $\kappa_{F1} = \frac{F1_{calculated} - F1_{random}}{1 - F1_{random}}$.
   • Isso normaliza o desempenho em relação ao acaso, permitindo comparações justas entre conjuntos de dados e entre estudos.

Principais Contribuições

• Anotação Confiável via Repetição: O artigo demonstra que múltiplas execuções independentes de LLM podem produzir anotações internamente consistentes (Kappa de Fleiss = 0,78 para GPT-4 na temperatura 0,5), superando a consistência das anotações humanas no conjunto de dados alvo.
• Desempenho Aprimorado a Montante: Modelos treinados nesses rótulos gerados por LLM e filtrados por consistência alcançam consistentemente desempenho superior (tanto em F1 bruto quanto em $\kappa_{F1}$ normalizado) em comparação com modelos treinados nos dados "dourados" originalmente rotulados por humanos.
• Framework de Avaliação: A introdução da métrica $\kappa_{F1}$ fornece um método principiado para avaliar e comparar modelos preditivos entre conjuntos de dados com características diferentes, abordando uma lacuna na avaliação de PLN onde benchmarks são instáveis ou não padronizados.

Resultados

• Consistência de Anotação: O GPT-4 com temperatura de 0,5 alcançou a maior concordância entre execuções (Kappa de Fleiss = 0,78), significativamente mais alta que o GPT-4o ou configurações de temperatura mais altas. Mais de 90% dos pontos de dados tiveram pelo menos um rótulo repetido em todas as cinco execuções sob condições ótimas.
• Desempenho em Tarefas a Montante: Em tarefas de classificação binária, multiclasse e multirrotulo usando MentalRoBERTa, modelos treinados em rótulos gerados por LLM (tanto RLP quanto MLP) superaram consistentemente aqueles treinados no conjunto de dados original rotulado por humanos. Por exemplo, na tarefa multirrotulo com GPT-4-0.7, o modelo treinado em LLM mostrou uma melhoria de 33,1% sobre a linha de base aleatória, comparado a apenas 16,1% para o modelo rotulado por humanos.
• Verificação Humana: Um estudo de verificação envolvendo três especialistas em psicologia em um subconjunto de amostras discordantes produziu resultados inconclusivos. Os especialistas não mostraram preferência forte por rótulos de LLM sobre rótulos humanos, e a concordância inter-especialistas foi baixa (Kappa de Fleiss = 0,20). Isso sugere a ambiguidade inerente da tarefa e do próprio conjunto de dados, em vez de uma falha do método de LLM.

Significado e Alegações
O artigo alega que, para tarefas de PLN subjetivas onde a verdade fundamental é inatingível e o acordo humano é baixo, a confiabilidade (consistência interna) é um pré-requisito necessário para a validade. Ao tratar a anotação como um processo de consultas repetidas em vez de previsão de tiro único, LLMs podem gerar dados de treinamento internamente coerentes e de baixo ruído que melhoram a generalização do modelo a montante.

Além disso, os autores argumentam que a métrica $\kappa_{F1}$ proposta oferece uma solução escalável para a comunidade mais ampla de PLN comparar modelos entre conjuntos de dados heterogêneos sem depender de um único benchmark, potencialmente falho. O estudo conclui que, embora o conjunto de dados específico utilizado tenha limitações (por exemplo, entradas de usuários frequentemente descrevem eventos em vez de pensamentos distorcidos explícitos), a metodologia de aproveitar a consistência de LLM e a avaliação baseada em tamanho de efeito fornece uma base robusta para avançar a pesquisa em PLN de saúde mental e outros domínios subjetivos.