AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
Este informe de experiencia demuestra que las entrevistas autoadministradas y dirigidas por IA son operativamente viables y bien recibidas por los participantes para estudios de ingeniería de software empíricos, cortos y de bajo riesgo, aunque actualmente funcionan mejor como una herramienta complementaria a las entrevistas dirigidas por humanos debido a limitaciones en profundidad, sensibilidad y privacidad.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina el mundo de la ingeniería de software como un enorme y bullicioso sitio de construcción donde los equipos construyen rascacielos digitales. Para entender cómo trabajan estos constructores, los investigadores suelen pasar por allí con tablas portapapeles y hacer preguntas, un método llamado "entrevistas". Es como un detective charlando con un testigo para averiguar cómo ocurrió un crimen, pero en lugar de crímenes, están investigando cómo los programadores corrigen errores, organizan sus días o utilizan nuevas herramientas. Tradicionalmente, esto requiere que un investigador humano se siente, haga preguntas y tome notas, lo cual consume mucho tiempo y es complicado cuando todos están en diferentes zonas horarias o hablan diferentes idiomas.
Recientemente, ha llegado un nuevo tipo de "detective digital": la Inteligencia Artificial (IA). Piensa en la IA como un robot superinteligente que puede leer millones de libros y aprender a hablar como un humano. Debido a que estos robots se están volviendo tan buenos en la conversación, los investigadores empezaron a preguntarse: "¿Podemos dejar que el robot realice la entrevista en lugar de un humano?". Esta es la gran pregunta que aborda este artículo. Pregunta si un robot puede conversar con éxito con desarrolladores de software, preguntarles sobre su trabajo y recopilar historias útiles sin que un humano tenga que levantar siquiera el teléfono. Los investigadores no intentan demostrar que el robot sea mejor que un humano, sino si es una herramienta posible que funcione lo suficientemente bien como para ser útil.
El Experimento: Dejando que el Robot Tome el Micrófono
En este estudio, los investigadores de Brasil decidieron probar esta idea. Crearon dos "entrevistadores de IA" personalizados (a los que llamaron MyGPTs) y los enviaron a hablar con profesionales del software. Un robot fue diseñado para preguntar sobre "refactorización" —una palabra elegante para limpiar código desordenado para que funcione mejor—. El otro robot preguntó sobre el uso de herramientas de IA dentro de "Scrum", una forma popular en que los equipos organizan su trabajo.
En lugar de programar una videollamada, los investigadores enviaron un enlace. Los participantes hicieron clic, abrieron el chat en sus propios teléfonos o computadoras y comenzaron a hablar. Incluso podían usar sus voces para hablar con el robot, tal como se habla con un asistente inteligente. El robot hizo una serie de preguntas, escuchó las respuestas y, al final, escribió automáticamente un resumen ordenado de la conversación. Luego, el participante tuvo que hacer clic en un botón para enviar ese resumen a los investigadores. Fue una entrevista de autoservicio: no había un investigador humano en la sala, no hubo conflictos de programación y todo sucedió cuando el participante quiso.
Lo que Encontraron: Lo Bueno, Lo Extraño y Lo Fallido
Los investigadores analizaron estas 66 entrevistas completadas. Esto es lo que les dijo la información, dividida entre las buenas noticias y las cosas que necesitan arreglarse.
Las Buenas Noticias: A la Gente Le Gustó
La mayoría de las personas que terminaron la entrevista pensaron que fue una experiencia bastante genial.
- Comodidad: Alrededor del 91% se sintió cómodo respondiendo las preguntas.
- Claridad: Casi el 96% dijo que las preguntas del robot eran fáciles de entender.
- Velocidad: Más del 97% sintió que la conversación avanzaba a un buen ritmo.
- Disposición: Casi el 90% dijo que estaría dispuesto a hacerlo de nuevo.
Resulta que a muchas personas en realidad les gustó la idea de hablar con un robot. Algunos sintieron menos presión que con un humano, y apreciaron poder responder a su propio ritmo sin preocuparse por si alguien miraba su reloj.
Los Momentos de "¿Espera, Qué?"
Sin embargo, no fue perfecto. Cuando se les pidió comparar al robot con un entrevistador humano, los resultados fueron un poco mixtos. Alrededor del 42% sintió que estaban justo en medio —ni mejor ni peor—. Cerca del 38% prefirió hablar con un humano, mientras que solo un 20% prefirió al robot.
La mayor queja fue que el robot a veces hacía preguntas que se sentían demasiado genéricas o no profundizaba lo suficiente en las respuestas. Alrededor del 29% de las personas sintió que el robot no era lo suficientemente sensible a sus historias específicas, y otro 27% sintió que la conversación no profundizaba lo suficiente. Algunas personas también extrañaron la conexión humana, sintiéndose un poco extrañas hablando con una máquina en lugar de con una persona.
Los Fallos Técnicos
También hubo contratiempos prácticos.
- El Resumen Equivocado: En aproximadamente el 9% de los casos (6 de 66), el participante envió algo incorrecto. En lugar del resumen ordenado que el robot generó, pegaron partes aleatorias del chat o texto no estructurado.
- El Tema Equivocado: En 2 casos, el participante respondió preguntas sobre "Scrum" pero envió un resumen sobre "refactorización", lo que demuestra que el vínculo entre la pregunta y la respuesta puede mezclarse cuando un humano trabaja solo.
- Problemas de Voz: Dado que la gente usó sus voces, a veces el robot malinterpretó sonidos. Una persona mencionó que un estornudo fue registrado accidentalmente como una respuesta, confundiendo el flujo de la entrevista.
La Gran Conclusión: Un Compañero Útil, No un Reemplazo
Lo más importante que nos dice este artículo es lo que los entrevistadores de IA pueden y no pueden hacer.
Los investigadores son muy claros: No demostraron que los robots puedan reemplazar a los entrevistadores humanos. No verificaron si los resúmenes del robot eran tan precisos, profundos o ricos como las notas de un humano. Solo verificaron si el proceso funcionaba y si las personas estaban de acuerdo con ello.
La conclusión es que los entrevistadores de IA son una herramienta complementaria excelente. Son perfectos para charlas rápidas, cortas y de bajo riesgo donde solo necesitas una idea general de lo que la gente piensa. Son fantásticos para ahorrar tiempo en la programación de citas y permitir que la gente hable cuando quiera. Pero, si necesitas profundizar en emociones complejas, manejar secretos muy sensibles o necesitas una comprensión súper profunda de un problema difícil, un entrevistador humano sigue siendo la mejor opción.
Piensa en el entrevistador de IA como un quiosco de autoatención en un supermercado. Es rápido, conveniente y funciona muy bien para unos pocos artículos. Pero si tienes un cupón extraño, una bolsa pesada de papas o una pregunta sobre la sección de frutas y verduras, todavía quieres a un cajero humano. Este estudio muestra que, para los investigadores de software, el "autoatención" está listo para usarse, pero aún necesitan mantener a un humano en el proceso para asegurarse de que los datos sean buenos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.