AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
Este relatório de experiência demonstra que entrevistas conduzidas por IA e autoadministradas são operacionalmente viáveis e bem recebidas pelos participantes para estudos de engenharia de software empíricos, curtos e de baixo risco, embora atualmente sirvam melhor como uma ferramenta complementar às entrevistas conduzidas por humanos devido a limitações em profundidade, sensibilidade e privacidade.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine o mundo da engenharia de software como um canteiro de obras enorme e movimentado onde equipes constroem arranha-céus digitais. Para entender como esses construtores trabalham, pesquisadores costumam passar por lá com pranchetas e fazer perguntas, um método chamado "entrevistas". É como um detetive conversando com uma testemunha para descobrir como um crime aconteceu, mas em vez de crimes, eles estão investigando como programadores corrigem bugs, organizam seus dias ou usam novas ferramentas. Tradicionalmente, isso exige que um pesquisador humano se sente, faça perguntas e tome notas, o que consome muito tempo e é complicado quando todos estão em fusos horários diferentes ou falam idiomas diferentes.
Recentemente, um novo tipo de "detetive digital" chegou: a Inteligência Artificial (IA). Pense na IA como um robô superinteligente que consegue ler milhões de livros e aprender a falar como um humano. Como esses robôs estão ficando muito bons em conversação, os pesquisadores começaram a se perguntar: "Podemos deixar o robô fazer a entrevista no lugar do humano?" Esta é a grande questão que este artigo aborda. Ele pergunta se um robô consegue conversar com sucesso com desenvolvedores de software, perguntar sobre seu trabalho e coletar histórias úteis sem que um humano sequer pegue no telefone. Os pesquisadores não estão tentando provar que o robô é melhor que um humano, mas sim se ele é uma ferramenta possível que funciona bem o suficiente para ser útil.
O Experimento: Deixando o Microfone com o Robô
Neste estudo, os pesquisadores do Brasil decidiram testar essa ideia. Eles criaram dois "entrevistadores de IA" personalizados (que chamaram de MyGPTs) e os enviaram para conversar com profissionais de software. Um robô foi projetado para perguntar sobre "refatoração" — uma palavra chique para limpar códigos bagunçados para fazê-los rodar melhor. O outro robô perguntou sobre o uso de ferramentas de IA dentro do "Scrum", uma forma popular de as equipes organizarem seu trabalho.
Em vez de agendar uma chamada de vídeo, os pesquisadores enviaram um link. Os participantes clicaram nele, abriram o chat em seus próprios telefones ou computadores e começaram a conversar. Eles podiam até usar suas vozes para falar com o robô, exatamente como se estivessem falando com um assistente inteligente. O robô fazia uma série de perguntas, ouvia as respostas e, ao final, escrevia automaticamente um resumo organizado da conversa. O participante então tinha que clicar em um botão para enviar esse resumo de volta aos pesquisadores. Foi uma entrevista de autoatendimento: não havia um pesquisador humano na sala, não houve conflitos de agenda e tudo aconteceu quando o participante quisesse.
O Que Eles Descobriram: O Bom, O Estranho e O Problemático
Os pesquisadores analisaram 66 dessas entrevistas concluídas. Aqui está o que os dados disseram a eles, divididos entre as boas notícias e as coisas que precisam de conserto.
As Boas Notícias: As Pessoas Gostaram
A maioria das pessoas que terminou a entrevista achou a experiência bem legal.
- Conforto: Cerca de 91% delas se sentiram confortáveis em responder às perguntas.
- Clareza: Quase 96% disseram que as perguntas do robô eram fáceis de entender.
- Velocidade: Mais de 97% sentiram que a conversa fluía em um bom ritmo.
- Disposição: Quase 90% disseram que estariam dispostos a fazer isso novamente.
Acontece que muitas pessoas na verdade gostaram da ideia de falar com um robô. Alguns sentiram menos pressão do que sentiriam com um humano e apreciaram poder responder no seu próprio ritmo, sem se preocupar com alguém checando o relógio.
Os Momentos "Espera, O Quê?"
No entanto, não foi perfeito. Quando questionados para comparar o robô com um entrevistador humano, os resultados foram um pouco mistos. Cerca de 42% das pessoas sentiram que estavam exatamente no meio do caminho — nem melhor, nem pior. Cerca de 38% sentiram que preferiam falar com um humano, enquanto apenas cerca de 20% preferiram o robô.
As maiores reclamações foram que o robô às vezes fazia perguntas que pareciam genéricas demais ou não aprofundava o suficiente nas respostas. Cerca de 29% das pessoas sentiram que o robô não foi sensível o suficiente às histórias específicas delas, e outros 27% sentiram que a conversa não se aprofundou o suficiente. Algumas pessoas também sentiram falta da conexão humana, sentindo-se um pouco estranhas ao conversar com uma máquina em vez de uma pessoa.
As Falhas Técnicas
Houve também alguns contratempos práticos.
- O Resumo Errado: Em cerca de 9% dos casos (6 de 66), o participante enviou a coisa errada. Em vez do resumo organizado que o robô gerou, eles colaram partes aleatórias do chat ou textos não estruturados.
- O Tópico Errado: Em 2 casos, o participante respondeu perguntas sobre "Scrum", mas enviou um resumo sobre "refatoração", mostrando que a ligação entre a pergunta e a resposta pode se confundir quando um humano está trabalhando sozinho.
- Problemas de Voz: Como as pessoas usaram suas vozes, às vezes o robô entendeu sons incorretamente. Uma pessoa mencionou que um tossido foi registrado acidentalmente como uma resposta, confundindo o fluxo da entrevista.
A Grande Conclusão: Um Ajudante, Não um Substituto
A coisa mais importante que este artigo nos diz é o que os entrevistadores de IA podem e não podem fazer.
Os pesquisadores são muito claros: Eles não provaram que robôs podem substituir entrevistadores humanos. Eles não verificaram se os resumos do robô eram tão precisos, profundos ou ricos quanto as notas de um humano. Eles apenas verificaram se o processo funcionava e se as pessoas estavam de acordo com ele.
A conclusão é que as entrevistas de IA são uma ferramenta complementar excelente. Elas são perfeitas para conversas rápidas, curtas e de baixo risco, onde você só precisa de uma ideia geral do que as pessoas pensam. São fantásticas para economizar tempo com agendamentos e permitir que as pessoas falem quando quiserem. Mas, se você precisar mergulhar fundo em emoções complexas, lidar com segredos muito sensíveis ou precisar de uma compreensão superprofunda de um problema difícil, um entrevistador humano ainda é a melhor escolha.
Pense no entrevistador de IA como um caixa de autoatendimento em um supermercado. É rápido, conveniente e funciona muito bem para alguns itens. Mas se você tiver um cupom estranho, um saco pesado de batatas ou uma pergunta sobre os produtos frescos, você ainda quer um caixa humano. Este estudo mostra que, para pesquisadores de software, o "autoatendimento" está pronto para uso, mas eles ainda precisam manter um humano no circuito para garantir que os dados sejam bons.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.