Hallucinations in AI Chatbots: A Comparative Analysis

En los últimos años, un nuevo tipo de programa informático se ha convertido en una herramienta común para escribir, programar y encontrar información. Estos programas, conocidos como modelos de lenguaje extensos, son entrenados con vastas cantidades de texto de internet. Están diseñados para predecir qué palabra debería seguir a la siguiente en una oración, lo que les permite generar respuestas de apariencia humana a las preguntas. Aunque son increíblemente útiles, tienen un defecto peculiar: a veces afirman cosas que son completamente falsas con total confianza. Los investigadores llaman a estos errores "alucinaciones". Una alucinación puede parecer un hecho real, una cita genuina de un libro o una línea de código funcional, pero es en realidad una fabricación. Esto no es solo un fallo menor; cuando estos programas se utilizan para tareas escolares, consejos médicos o investigación profesional, un dato inventado puede provocar confusión o peligro en el mundo real. La pregunta que enfrentan tanto científicos como usuarios no es si estos errores ocurren, sino con qué frecuencia ocurren, qué programas son más propensos a ellos y cómo las personas pueden detectarlos antes de que causen problemas.

Un equipo de investigadores del Instituto de Tecnología de Usman se propuso comprender este problema analizando los cuatro chatbots de IA más populares disponibles hoy en día: GPT-4, Gemini, Claude y Microsoft Copilot. En lugar de simplemente probar las máquinas en un laboratorio, los investigadores preguntaron a 80 usuarios reales sobre sus experiencias en el mundo real. Querían saber con qué frecuencia estos usuarios encontraban información falsa, cómo notaban los errores y qué hacían para corregirlos. El estudio se centró en tareas que requieren una alta precisión, como la redacción de trabajos académicos, la escritura de código informático y la realización de investigaciones. El objetivo era ir más allá de las evaluaciones técnicas y ver cómo se comportan estas herramientas en manos de personas comunes que dependen de ellas para trabajos importantes.

Los resultados de la encuesta revelaron que las alucinaciones son un problema persistente, incluso en los sistemas más avanzados. La mayoría de las personas que participaron en la encuesta dijeron que utilizan estas herramientas de IA todos los días o varias veces al día. Dependen de ellas para programar, investigar y escribir. Sin embargo, la mayoría también informó que encuentran con frecuencia información inventada o referencias falsas. Los investigadores descubrieron que estos errores no ocurren al azar; tienden a aparecer con más frecuencia a medida que una conversación se prolonga. Después de que un usuario ha intercambiado entre cinco y veinte mensajes con el bot, la probabilidad de que el programa cometa un error y proporcione detalles inconsistentes o falsos aumenta. Esto sugiere que cuanto más hablas con la máquina, más probable es que pierda el control sobre la verdad.

Cuando los usuarios se daban cuenta de que algo estaba mal, no dependían de la computadora para que se lo dijera. En su lugar, utilizaban su propio conocimiento. La forma más común en que las personas detectaban una alucinación era cuando la respuesta de la IA contradecía algo que ya sabían que era cierto. Otro gran indicador de alerta era la presencia de citas falsas. Si el programa enumeraba un libro, un estudio o un sitio web que no se podía encontrar o que no existía, los usuarios sabían inmediatamente que la información era fabricada. El estudio mostró que detectar estos errores sigue siendo, en gran medida, un trabajo humano. Depende de la capacidad del usuario para verificar los hechos y de su disposición para cuestionar a la máquina, en lugar de depender de un interruptor de seguridad automático integrado en el software mismo.

Los investigadores también compararon los cuatro chatbots diferentes para ver si uno era más seguro o más fiable que los otros. Encontraron que cada sistema tiene sus propias fortalezas y debilidades. GPT-4 fue elogiado por su capacidad para razonar a través de problemas complejos, mientras que Gemini fue destacado por su fuerte capacidad para extraer información de los resultados de búsqueda, lo que ayuda a mantener sus respuestas fundamentadas en la realidad. Claude destacó por su enfoque en la seguridad y la honestidad, particularmente en áreas sensibles como la salud, donde mostró una alta precisión. Microsoft Copilot fue reconocido por su estrecha integración con otras herramientas de software, lo que lo hace útil para la productividad. Sin embargo, ninguno de los cuatro modelos era perfecto. Todos ellos seguían produciendo citas falsas y código poco fiable en ocasiones. El estudio concluyó que, si bien estas herramientas son poderosas, aún no son lo suficientemente confiables como para ser utilizadas sin supervisión humana, especialmente en campos de alto riesgo como la medicina o la investigación académica.

Entonces, ¿qué se puede hacer para solucionar esto? Los participantes de la encuesta ofrecieron una respuesta clara. No creían que la solución residiera únicamente en hacer que la IA sea más inteligente. En su lugar, dijeron que la forma más efectiva de reducir los errores es exigir que la IA muestre su trabajo. Los usuarios prefirieron abrumadoramente las respuestas que incluían citas verificadas, lo que significa que el programa debe señalar una fuente real y existente para cada hecho que afirma. La revisión humana fue la segunda solución más popular, seguida por los sistemas de verificación de hechos automáticos. Las personas que utilizan estas herramientas quieren transparencia; quieren ver de dónde proviene la información para poder verificarla ellos mismos. Los investigadores sugieren que las mejoras futuras deberían centrarse en hacer que la IA explique sus fuentes y admita cuando no está segura, en lugar de simplemente intentar generar más texto.

En última instancia, este estudio resalta una realidad crucial sobre el estado actual de la inteligencia artificial. Estas herramientas se están volviendo más sofisticadas y se están utilizando para tareas más complejas, pero el problema de inventar cosas no ha desaparecido. Los investigadores descubrieron que los usuarios son conscientes del riesgo y están trabajando activamente para evitarlo mediante la doble verificación de los hechos y la exigencia de evidencia. Para que estos sistemas sean verdaderamente fiables, especialmente en áreas críticas como la atención médica y la educación, deben evolucionar para proporcionar fuentes claras y verificables para sus respuestas. Hasta entonces, la responsabilidad de la exactitud permanece firmemente en manos humanas, con la IA sirviendo como un asistente útil en lugar de una autoridad final.