LLMs for Qualitative Data Analysis Fail on Security-specificComments in Human Experiments

Resumo Técnico: Falha de LLMs na Análise de Comentários Específicos de Segurança em Experimentos Humanos

1. Problema e Motivação

A análise temática de justificativas em texto livre (comentários) em experimentos com sujeitos humanos é fundamental para obter insights qualitativos em engenharia de software e segurança. No entanto, esse processo é intensivo em mão de obra, exigindo múltiplos especialistas para garantir a confiabilidade das anotações.

• Hipótese Inicial: Modelos de Linguagem de Grande Escala (LLMs) seriam candidatos ideais para substituir anotadores humanos, especialmente em tarefas de classificação de sentimentos ou extração de tópicos gerais.
• O Desafio Específico: O artigo investiga se os LLMs podem realizar anotações técnicas de segurança (ex: identificar menções a identificadores de código, linhas de código específicas, palavras-chave de segurança ou tipos de vulnerabilidade) em comentários gerados por humanos. Diferente da análise de sentimento, essa tarefa exige uma compreensão contextual profunda e domínio específico de segurança, onde a precisão é crítica.
• Questões de Pesquisa (RQs):
  • RQ1: Os LLMs podem substituir um anotador humano em anotações técnicas de segurança?
  • RQ2: Qual o impacto de diferentes estratégias de prompting (que mimetizam as melhores práticas de refinamento de códigos humanos) no desempenho dos LLMs?

2. Metodologia

Os autores desenvolveram uma metodologia experimental rigorosa para testar a capacidade de substituição de LLMs em um cenário real de análise qualitativa.

• Conjunto de Dados:

  • Utilizaram dados de um experimento não publicado de Papotti et al., onde estudantes de mestrado analisaram trechos de código vulnerável.
  • O dataset contém 263 comentários em texto livre.
  • Os dados foram anotados manualmente por quatro anotadores humanos seguindo um protocolo padrão de Análise Temática (TA), gerando um "padrão-ouro" (ground truth) após revisão e resolução de conflitos.
  • Foram testados 9 códigos de segurança relevantes (ex: Var - identificadores de variável/método; Lin - linhas mencionadas; Key - palavras-chave de segurança; Vul - tipo de vulnerabilidade; NoVul - ausência de vulnerabilidade).

• Seleção de Modelos (LLMs):

  • Foram selecionados quatro modelos de ponta do LiveBench (dois proprietários e dois open-source):
    1. GPT-5 (OpenAI)
    2. Claude 4 Sonnet (Anthropic)
    3. DeepSeek-V3.2 (Open Source)
    4. Qwen3-Max (Open Source)
  • Critérios de seleção incluíram capacidade de processar arquivos de planilha, desempenho em raciocínio e capacidade de gerar saídas tabulares consistentes.

• Estratégia de Prompting (Refinamento Progressivo):
  Para mimetizar o processo cognitivo humano, os prompts foram refinados em quatro estágios:

  1. P1: Apenas descrição da tarefa e nomes dos códigos.
  2. P2: Inclusão de definições formais do "codebook" (livro de códigos) com exemplos.
  3. P3: Inclusão de exemplos de anotações de outros anotadores (few-shot).
  4. P3+ (Pilotado): Inclusão de exemplos conflitantes e esclarecimentos específicos sobre ambiguidades (simulando a fase de resolução de conflitos humana).

• Métricas de Avaliação:

  • Em vez de usar apenas a acurácia bruta (que pode ser enganosa em dados desbalanceados), os autores utilizaram o Coeficiente Kappa de Cohen ($\kappa$), que mede a concordância corrigida pelo acaso.
  • O objetivo era que o LLM alcançasse um $\kappa$ comparável ao de um anotador humano revisado (considerado o padrão de referência).

3. Resultados Principais

• Resposta à RQ1 (Substituição de Humanos):

  • Falha Geral: Os LLMs não conseguiram substituir de forma confiável os anotadores humanos. A maioria dos modelos ficou na faixa de "Limitado" a "Moderado" em termos de concordância corrigida pelo acaso ($\kappa$).
  • Desempenho Variável:
    • Modelos Open Source (DeepSeek e Qwen) performaram ligeiramente melhor que os proprietários (GPT e Claude) neste contexto específico.
    • O modelo Qwen3-Max atingiu um $\kappa$ de 0.61 (Substancial), o melhor resultado, mas ainda não perfeito.
    • O GPT-5 e Claude-4 tiveram desempenhos piores ($\kappa$ de 0.26 e 0.30, respectivamente), classificados como "Limitados" ou "Inutilizáveis" para certas tarefas.
  • Dificuldades Específicas: Os modelos falharam consistentemente em códigos que exigem raciocínio inferencial ou distinção entre terminologia técnica geral e identificadores de código específicos (ex: confundir a palavra "debug" como um identificador de código vs. termo geral).

• Resposta à RQ2 (Impacto do Prompting):

  • Retornos Decrescentes: O refinamento progressivo dos prompts (de P1 para P3+) trouxe melhorias marginais, mas não estatisticamente significativas após correção de Bonferroni.
  • Ponto de Virada: Houve um ganho significativo apenas ao passar de P1 (apenas nomes) para P2 (definições formais + exemplos). Adicionar exemplos conflitantes e esclarecimentos (P3+) não melhorou o desempenho de forma consistente e, em alguns casos, confundiu os modelos.
  • Conclusão: O esforço adicional de engenharia de prompt não compensou a falta de capacidade intrínseca dos modelos para entender nuances de segurança.

• Análise Qualitativa dos Erros:

  • Alucinação e Super-sensibilidade: Alguns modelos marcaram sistematicamente a presença de identificadores em todos os comentários ou confundiram termos genéricos com termos de código.
  • Falta de Contexto de Segurança: Os modelos muitas vezes interpretaram a literalidade das palavras, perdendo o significado de alto nível (ex: não distinguir entre "não encontrei vulnerabilidade" e "não tenho certeza").

4. Contribuições Chave

1. Evidência Empírica de Limitação: O estudo fornece uma evidência robusta de que, para tarefas de anotação qualitativa específicas de segurança, os LLMs atuais (mesmo os mais avançados) não estão prontos para substituir humanos, mesmo com prompts sofisticados.
2. Metodologia de Avaliação Rigorosa: Propõe o uso do Kappa de Cohen (acurácia corrigida pelo acaso) como métrica padrão para avaliar anotação de eventos raros ou específicos, evitando a armadilha da alta acurácia bruta em dados desbalanceados.
3. Benchmark de Prompting: Demonstra que, para tarefas técnicas complexas, o refinamento iterativo de prompts tem um teto de eficácia e não substitui a necessidade de ajuste fino (fine-tuning) ou arquiteturas híbridas.
4. Dataset e Código Abertos: Disponibilização do conjunto de dados anotados e da implementação do código para reprodutibilidade.

5. Significado e Implicações

• Para a Pesquisa em Engenharia de Software: O estudo alerta contra a automação cega de processos de análise qualitativa em domínios críticos como segurança. A "fruta fácil" de substituir anotadores humanos com LLMs não se aplica a anotações técnicas profundas.
• Papel dos LLMs: A conclusão sugere que os LLMs devem atuar como assistentes (gerando rascunhos iniciais, sugerindo códigos potenciais para verificação humana) e não como autônomos (substituindo totalmente o julgamento humano).
• Futuro do Trabalho: Para que os LLMs sejam úteis nessa área, serão necessários pipelines híbridos, interfaces de prompting estruturadas e, possivelmente, modelos especializados (fine-tuned) em dados de segurança, em vez de modelos de propósito geral.

Em resumo, o artigo conclui que, embora os LLMs sejam poderosos para análise de sentimentos gerais, eles falham em replicar a precisão e a nuance dos especialistas humanos na análise de comentários técnicos de segurança, tornando a substituição total inviável no estado atual da tecnologia.