GenAI Is No Silver Bullet for Qualitative Research in Software Engineering

Este artigo argumenta que a Inteligência Artificial Generativa não é uma solução universal para a pesquisa qualitativa em Engenharia de Software, destacando a necessidade de adaptação cuidadosa às estratégias de pesquisa específicas e analisando suas promessas, limitações e implicações para a qualidade da pesquisa.

O essencial

Imagine que a pesquisa em Engenharia de Software é como tentar entender a alma de uma grande orquestra. Não basta apenas contar quantos instrumentos existem ou medir o volume do som (dados quantitativos); é preciso entender como os músicos se sentem, por que tocam daquela maneira e como a química entre eles cria a música. Isso é a pesquisa qualitativa: mergulhar nas histórias, nas entrevistas e nos bastidores para descobrir o "porquê" das coisas.

Agora, imagine que chegou um novo assistente superinteligente, um robô chamado GenAI (Inteligência Artificial Generativa), que promete fazer todo esse trabalho de análise sozinho, em segundos.

O artigo que você pediu para explicar é um aviso de dois especialistas (Neil Ernst e Christoph Treude) dizendo: "Cuidado! Esse robô não é uma varinha mágica que resolve tudo."

Aqui está a explicação do artigo, traduzida para uma linguagem simples e cheia de analogias:

1. O Robô é um "Estagiário Rápido, mas Sem Experiência"

O artigo diz que a IA é ótima em tarefas mecânicas e repetitivas.

• O que ela faz bem: Se você tem 1.000 entrevistas e precisa apenas contar quantas vezes a palavra "estresse" aparece, ou se precisa resumir um texto longo, a IA é como um estagiário super-rápido. Ela faz isso em minutos.
• O que ela faz mal: Se você precisa entender o sentimento por trás de uma frase, ou conectar uma reclamação no chat de um desenvolvedor com um erro no código e com a história de vida daquela pessoa, a IA falha. Ela é como alguém que lê o manual de instruções de um motor, mas nunca viu um carro funcionando na chuva. Ela não tem "intuição" nem "experiência de vida".

2. A Armadilha da "Caixa de Ferramentas"

Os autores explicam que existem diferentes tipos de pesquisa:

• Pesquisa Dedutiva (A Caça ao Tesouro com Mapa): Você já sabe o que procura (ex: "quantos bugs foram causados por falta de teste?"). A IA é excelente aqui. É como dar um mapa ao robô e pedir para ele marcar os X. Ele segue o mapa perfeitamente.
• Pesquisa Indutiva (Explorar a Selva): Você não sabe o que vai encontrar; você está explorando para criar novas teorias. Aqui, a IA é perigosa. É como mandar um robô explorar a selva sem um guia humano. Ele pode encontrar coisas óbvias, mas vai perder a beleza escondida, o significado profundo e as conexões estranhas que um humano perceberia.

3. O Perigo do "Alucinação" (O Robô que Inventou)

Um dos maiores riscos mencionados é a alucinação.
Imagine que você pede ao robô para analisar as conversas de uma equipe e ele diz: "A equipe está feliz porque o chefe é gentil". Na verdade, o chefe é terrível, mas o robô, treinado em dados da internet, "inventou" essa conclusão porque parecia lógica para ele.
Na pesquisa científica, isso é fatal. Se o robô inventa fatos, a pesquisa inteira vira lixo. O artigo alerta que a IA pode parecer muito convincente, mas estar totalmente errada.

4. A Questão da "Alma" da Pesquisa

A parte mais filosófica do artigo diz que a pesquisa qualitativa não é só sobre "coletar dados", é sobre construir significado juntos.

• Analogia: Imagine que você está ouvindo uma história triste. Um humano ouve, sente empatia, chora e entende a dor. A IA ouve as palavras, analisa a pontuação e diz: "Isso é triste".
• O artigo argumenta que a IA não tem "alma" nem consciência. Ela não pode entender o contexto humano, as emoções sutis ou a ética por trás das decisões. Usar a IA para substituir o pesquisador humano é como tentar cozinhar um prato gourmet usando apenas um micro-ondas: você vai ter comida, mas não terá o sabor, o tempero e o cuidado que fazem a diferença.

5. O Veredito Final: O Robô é um "Ajudante", não o "Chefe"

Os autores concluem que a IA não é uma bala de prata (uma solução mágica que resolve tudo sozinha).

• O papel ideal da IA: Ela deve ser usada como uma ferramenta de apoio. Pode ajudar a transcrever áudios, resumir textos longos ou sugerir ideias iniciais.
• O papel do humano: O pesquisador humano deve ser o chef de cozinha. Ele decide o que cozinhar, prova o prato, ajusta o tempero e garante que a comida tenha sabor e significado.

Resumo em uma frase:

A Inteligência Artificial é um martelo elétrico muito rápido, mas a pesquisa qualitativa em Engenharia de Software é uma escultura de argila; você pode usar o martelo para quebrar pedras, mas se tentar esculpir a alma humana com ele, vai apenas fazer uma bagunça. O humano precisa estar sempre no comando, usando a IA para acelerar o trabalho, mas nunca para substituir o pensamento crítico e a empatia.

Resumo técnico

Título: GenAI Não é uma Bala de Prata para Pesquisa Qualitativa em Engenharia de Software

Autores: Neil A. Ernst (Universidade de Victoria, Canadá) e Christoph Treude (Universidade de Gestão de Singapura).

1. Problema e Contexto

A pesquisa em Engenharia de Software (ES) reconhece cada vez mais o fator humano como central. A pesquisa qualitativa é essencial para entender as dimensões sócio-técnicas, utilizando estratégias diversas como estudos de campo, entrevistas, teoria fundamentada e análise fenomenológica.
Com o advento dos Grandes Modelos de Linguagem (LLMs) e da Inteligência Artificial Generativa (GenAI), surgiram alegações de que a IA poderia automatizar a análise qualitativa. No entanto, os autores argumentam que essas alegações são generalizações excessivas baseadas em sucessos em tarefas muito restritas. O problema central é que a pesquisa qualitativa em ES lida com dados complexos, heterogêneos (código, logs, entrevistas, documentos) e interconectados, exigindo interpretação humana profunda, reflexividade e construção de significado que a GenAI atual não consegue replicar autonomamente.

2. Metodologia

O artigo adota uma abordagem de revisão crítica e análise exploratória, estruturada em três pilares principais:

• Revisão da Literatura e Tipologia: Os autores mapeiam o espectro da pesquisa qualitativa em ES, distinguindo estratégias (Respondentes, Campo, Laboratório, Mineração de Dados) e métodos (Teoria Fundamentada, Análise Temática, etc.), focando nas dimensões epistemológicas (positivista vs. construtivista) e de codificação (indutiva vs. dedutiva).
• Estudo Empírico Preliminar (Análise de Publicações):
  • Corpus: Foram analisados os anais de três conferências de 2025: ICSE (n=258), CHASE (n=37) e CSCW (n=312).
  • Filtro: Selecionaram-se artigos que utilizavam codificação qualitativa (busca por termos como "cod[ed|ing]" e "qualitative").
  • Verificação de Uso de IA: Utilizou-se o próprio LLM (gpt-5.1-codex-max) para escanear os PDFs dos artigos filtrados e identificar o uso explícito de LLMs no processo de codificação.
  • Análise Manual: Um autor revisou manualmente as seções de metodologia para verificar o uso de ferramentas de Análise de Dados Qualitativos (QDA) como MaxQDA ou Atlas.ti, que agora possuem recursos de IA.
• Síntese de Evidências Existentes: Revisão de estudos anteriores sobre o desempenho de LLMs em tarefas de anotação, sumarização e codificação dedutiva versus indutiva.

3. Contribuições Principais

O artigo oferece uma visão estruturada e crítica sobre o estado da arte:

1. Mapeamento do Espectro de Pesquisa: Clarifica como diferentes estratégias de pesquisa (ex: etnografia vs. análise dedutiva de logs) têm requisitos e limitações distintas para o uso de GenAI.
2. Análise de Uso Real: Apresenta dados empíricos sobre a adoção atual de GenAI em conferências de alto nível, mostrando que o uso é incipiente e concentrado em tarefas específicas.
3. Quadro de Promessas e Armadilhas: Define claramente onde a GenAI pode agregar valor (aceleração de tarefas dedutivas) e onde ela falha (interpretação contextual profunda, construção de teoria).
4. Reavaliação de Critérios de Qualidade: Propõe como os conceitos tradicionais de confiabilidade, validade e reflexividade devem ser reavaliados na era da GenAI.
5. Agenda de Pesquisa Futura: Define cinco direções concretas para a comunidade de ES.

4. Resultados e Evidências

A. Uso Atual (Dados de 2025)

• Adoção Baixa: Apenas 7 artigos (3,3%) no CSCW 2025 relataram o uso substantivo de GenAI para análise qualitativa. Nenhum artigo do ICSE ou CHASE de 2025 relatou tal uso.
• Tipos de Uso:
  • 3 artigos eram estudos meta (discutindo como LLMs poderiam ser usados).
  • 3 artigos aplicaram GenAI em tarefas dedutivas/positivistas (aplicar um código pré-definido a um conjunto de dados).
  • 1 artigo usou LLMs para extração de dados (seleção de vídeos).
• Falta de Uso Indutivo: Nenhum dos artigos analisados utilizou GenAI para análise temática indutiva ou construção de teoria (Grounded Theory), embora alguns estudos futuros prevejam isso.
• Risco de "Invisibilidade": Muitos artigos relatam o uso de ferramentas QDA (como Atlas.ti) sem especificar se recursos de IA foram ativados, tornando difícil distinguir o esforço humano do automatizado.

B. Desempenho Técnico (Baseado em Evidências Externas)

• Sucesso em Tarefas Dedutivas: LLMs alcançam acordo inter-ratificador humano (Kappa > 0.7) em tarefas de anotação com códigos bem definidos e baixo contexto (ex: sumarização, verificação de consistência).
• Falha em Tarefas Indutivas/Interpretativas: O desempenho cai drasticamente em tarefas que exigem inferência causal, interpretação de nuances, construção de temas emergentes ou compreensão de contextos sócio-técnicos complexos.
• Dependência de Prompts: A qualidade e a reprodutibilidade dependem fortemente da engenharia de prompts e da supervisão humana. O modo "zero-shot" (sem exemplos) tende a falhar.

C. Limitações Epistemológicas

• Incompatibilidade com Construtivismo: A GenAI opera sob uma lógica estatística (positivista), enquanto muitas pesquisas qualitativas em ES são construtivistas (o significado é co-construído pelo pesquisador e participantes). Usar IA como "codificador autônomo" pode ser visto como desumanizante e inconsistente com a reflexividade necessária.
• Alucinações e Viés: A IA pode gerar códigos plausíveis, mas incorretos, ou herdar vieses de seus dados de treinamento, ameaçando a validade dos estudos, especialmente em contextos novos ou não pesquisados.

5. Significância e Conclusão

O artigo conclui que a GenAI não é uma bala de prata para a pesquisa qualitativa em Engenharia de Software.

• Papel Adequado: A GenAI deve ser vista como uma ferramenta de apoio para acelerar tarefas focadas em artefatos (ex: transcrição, sumarização, codificação dedutiva de grandes volumes de dados com códigos pré-definidos).
• Papel Inadequado: Ela não deve substituir o pesquisador humano na construção de teoria, na interpretação de contextos complexos ou na análise indutiva profunda.
• Recomendações para a Comunidade:
  1. Transparência: Os pesquisadores devem divulgar explicitamente o uso de GenAI, incluindo prompts e parâmetros.
  2. Fluxos de Trabalho Híbridos: Desenvolver metodologias onde a IA sugere padrões, mas o humano valida e interpreta.
  3. Padronização: Definir diretrizes éticas e de qualidade específicas para o uso de IA em estudos qualitativos de ES, considerando a natureza sensível e proprietária dos dados (código, logs internos).
  4. Agenda Futura: Investigar benchmarks de substituição de codificadores, avaliar o desempenho em métodos interpretativos e reconciliar o uso de IA com paradigmas construtivistas.

Em suma, a pesquisa qualitativa em ES continuará a depender da reflexividade humana e da interpretação contextual, com a GenAI atuando como um acelerador limitado, e não como um substituto autônomo.