📄 ciencias sociales

Search in Transition: A Mixed-Methods Study of LLMs and Search Engines in English Test Preparation

Este estudio de métodos mixtos revela que los estudiantes universitarios que se preparan para exámenes de lengua inglesa combinan estratégicamente los LLM para la eficiencia y los motores de búsqueda para la verificación, siendo aquellos que emplean un enfoque híbrido equilibrado quienes alcanzan la mayor precisión a pesar de tiempos de ejecución de tareas más largos, apoyando finalmente un nuevo modelo de interfaz para el aprendizaje mediado por IA confiable.

Autores originales: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

Publicado 2026-10-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cada año, millones de estudiantes universitarios de todo el mundo se preparan para exámenes de lengua inglesa de alto nivel como el IELTS o el TOEFL. Estas pruebas suelen ser los porteros finales para estudiar en el extranjero o asegurar una carrera, lo que requiere no solo el dominio del vocabulario y la gramática, sino la capacidad de sintetizar información compleja rápidamente. Durante décadas, el enfoque estándar para esta preparación ha sido el motor de búsqueda tradicional. Un estudiante escribe una pregunta, filtra una lista de enlaces, lee múltiples artículos y une las piezas para obtener la respuesta. Es un método basado en la autoridad y la verificación, pero puede ser lento y mentalmente agotador. En años recientes, una nueva herramienta ha entrado en escena: el modelo de lenguaje de gran tamaño. Estos son sistemas de inteligencia artificial conversacional que pueden responder preguntas, escribir ensayos y explicar reglas en una única respuesta fluida. Se sienten como tener un tutor disponible en cualquier momento. Pero a medida que estas dos tecnologías colisionan en la mente de los estudiantes, surge una pregunta crítica: ¿compiten entre sí o funcionan mejor juntas?

Investigadores de la Universidad Internacional Unida en Bangladesh se propusieron responder a esto observando cómo se comportan realmente los estudiantes cuando se enfrentan a problemas de exámenes reales. No se limitaron a preguntar a los estudiantes qué preferían; los observaron trabajar. El equipo reunió a un grupo numeroso de 140 estudiantes universitarios para completar encuestas sobre sus hábitos y sentimientos hacia estas herramientas. Para obtener una visión más profunda, contaron con 20 de esos estudiantes para una sesión más íntima. En esta segunda fase, se les pidió a los estudiantes que completaran siete tareas específicas que imitan los desafíos de un examen de competencia en inglés, como resumir un texto difícil, corregir errores gramaticales o escribir un breve texto de opinión. Los investigadores observaron de cerca para ver qué herramientas utilizaban los estudiantes, cuánto tiempo les tomaban las tareas y qué tan precisas eran las respuestas finales.

Los resultados revelaron un patrón claro en cómo los estudiantes navegan este paisaje digital. Cuando los estudiantes dependían únicamente de la IA conversacional, trabajaban rápido, terminando sus tareas en un promedio de 24 minutos. Sus respuestas eran fluidas y bien estructuradas, obteniendo una puntuación de precisión del 88 por ciento. Cuando los estudiantes se mantenían fieles al motor de búsqueda tradicional, tardaban más, promediando 31 minutos, y su precisión descendía al 80 por ciento. El motor de búsqueda requería que saltaran entre muchas páginas web diferentes para encontrar y verificar la información, un proceso que a menudo conducía a la confusión o a detalles omitidos. Sin embargo, el grupo más exitoso no fue el que eligió solo una herramienta. Los estudiantes que adoptaron una estrategia híbrida —usando la IA para generar un borrador o explicación rápida y luego cambiando al motor de búsqueda para verificar hechos y confirmar reglas— alcanzaron la mayor precisión del 90 por ciento.

Este rendimiento superior tuvo un costo. El grupo híbrido fue el que más tiempo tardó en completar su trabajo, promediando 35 minutos. Tuvieron que detenerse, pensar y cambiar de contexto entre la interfaz conversacional y la lista de resultados de búsqueda. A pesar del tiempo adicional, estos estudiantes reportaron sentirse más seguros de sus respuestas. Entendían que la IA era una poderosa generadora de ideas pero que ocasionalmente podía cometer errores u ofrecer explicaciones vagas, mientras que el motor de búsqueda era una fuente de verdad confiable pero podía ser abrumador de navegar. Al combinarlos, lograron obtener lo mejor de ambos mundos: la velocidad y claridad de la IA, respaldadas por la credibilidad del motor de búsqueda.

El estudio sugiere que el futuro del aprendizaje en este contexto no consiste en elegir una tecnología sobre la otra, sino en integrarlas. Los investigadores observaron que los estudiantes se inclinaban naturalmente hacia un flujo de trabajo donde la IA se encargaba del trabajo pesado de escribir y resumir, mientras que el motor de búsqueda servía como una red de seguridad para verificar hechos. Este comportamiento resalta una creciente necesidad de herramientas que no obliguen a los usuarios a elegir entre eficiencia y precisión. Los autores proponen un nuevo tipo de interfaz donde la IA conversacional viva directamente dentro del motor de búsqueda. En este sistema imaginado, un estudiante podría hacer una pregunta, recibir una respuesta clara y resumida de la IA, y ver los enlaces específicos a las fuentes originales justo al lado. Esto eliminaría la necesidad de cambiar constantemente entre diferentes pestañas o aplicaciones, reduciendo el esfuerzo mental requerido para verificar la información.

En última instancia, la investigación indica que los estudiantes ya están actuando como sus propios diseñadores, descubriendo cómo mezclar estas tecnologías para tener éxito. No están tratando a la IA como un reemplazo del motor de búsqueda, ni están ignorando la IA en favor de los métodos antiguos. En cambio, están construyendo un flujo de trabajo personal que aprovecha las fortalezas de cada una. El estudio concluye que para el aprendizaje de alto nivel, el camino más efectivo es un enfoque híbrido que respete la velocidad de la inteligencia artificial mientras mantiene la rigurosa verificación de la búsqueda tradicional, asegurando que las respuestas que encuentran los estudiantes sean no solo rápidas, sino también verdaderas.

Resumen Técnico: La Búsqueda en Transición

Planteamiento del Problema
A medida que los Modelos de Lenguaje de Gran Escala (LLM) influyen cada vez más en la búsqueda de información académica, los estudiantes universitarios están adoptando flujos de trabajo híbridos que combinan la IA conversacional con los motores de búsqueda tradicionales. Sin embargo, existe una falta de investigación empírica sobre cómo se integran estas herramientas estratégicamente durante la preparación para exámenes de lengua inglesa de alto nivel (por ejemplo, IELTS, TOEFL). Si bien los LLM ofrecen eficiencia en la generación de explicaciones y contenido, pueden producir información fluida pero fácticamente incorrecta o contextualmente irrelevante. Por el contrario, los motores de búsqueda tradicionales proporcionan fuentes verificables y autorizadas, pero requieren un esfuerzo cognitivo significativo para navegar, sintetizar y verificar a través de múltiples páginas web. El problema central abordado es el compromiso entre la eficiencia y la fiabilidad, y las estrategias específicas que emplean los estudiantes para gestionar la carga cognitiva y la confianza epistémica al resolver problemas de exámenes de lengua inglesa.

Metodología
El estudio emplea un diseño de investigación de métodos mixtos que involucra dos fases distintas:

Encuesta Cuantitativa: Se administró una encuesta a 140 estudiantes universitarios de diversas disciplinas (principalmente Ciencias de la Computación, Ingeniería, Negocios e Inglés) en la United International University, Bangladesh. El instrumento midió cuatro dimensiones principales tanto para las herramientas basadas en LLM como para los motores de búsqueda tradicionales: frecuencia de uso, satisfacción, eficiencia percibida y facilidad de uso. Los datos fueron analizados mediante estadística descriptiva, pruebas de rangos con signo de Wilcoxon (para comparaciones pareadas), pruebas de Friedman (para diferencias de dimensiones dentro de la misma herramienta) y pruebas de Chi-cuadrado (para la asociación de género con la preferencia).
Entrevistas Cualitativas Basadas en Tareas: Se realizaron entrevistas en profundidad con 20 estudiantes que completaron siete tareas representativas de exámenes de lengua inglesa (resumen, corrección gramatical, selección de vocabulario, paráfrasis y tareas de escritura). Los participantes fueron categorizados en cuatro grupos de uso: solo LLM, solo motor de búsqueda, equilibrio de herramientas (uso secuencial de ambos) y elección flexible. El desempeño en las tareas fue evaluado mediante rúbricas predefinidas por dos calificadores independientes (fiabilidad inter-evaluador $\kappa = 0.82$ ), midiendo la precisión y el tiempo de finalización. El análisis temático se aplicó a las transcripciones de las entrevistas y a las respuestas abiertas de la encuesta.

Resultados Clave

Diferencias Percibidas: Los estadísticos descriptivos indicaron que los LLM fueron percibidos como más satisfactorios y eficientes, mientras que los motores de búsqueda tradicionales fueron calificados más alto en facilidad de uso y frecuencia de uso. Sin embargo, las comparaciones estadísticas pareadas (pruebas de rangos con signo de Wilcoxon) revelaron que no hubo diferencias estadísticamente significativas entre los dos tipos de herramientas en ninguna de las cuatro dimensiones medidas al nivel $\alpha = 0.05$ .
Compromisos de Desempeño: En la fase de entrevista, el grupo de equilibrio de herramientas (estudiantes que alternaban entre LLM y motores de búsqueda) logró la mayor precisión en las tareas (90%) pero requirió el mayor tiempo de finalización (3 de 35 minutos). El grupo de solo LLM fue el más rápido (24 minutos) con una precisión del 88%, mientras que el grupo de solo motor de búsqueda tuvo una precisión del 80% y un tiempo de finalización de 31 minutos.
Temas Cualitativos: Surgieron cuatro temas dominantes:
1. Idoneidad de la Tarea: Los LLM son preferidos para el resumen, la paráfrasis y la redacción; los motores de búsqueda son preferidos para la verificación de reglas y fuentes autorizadas.
2. Fiabilidad: Los estudiantes confían en los motores de búsqueda para la verificación de hechos debido a las preocupaciones sobre las alucinaciones de los LLM, a pesar de apreciar la fluidez de los LLM.
3. Carga Cognitiva: Los LLM reducen el esfuerzo cognitivo al proporcionar salidas inmediatas, pero los flujos de trabajo híbridos, aunque consumen más tiempo, conducen a una mayor confianza y calidad.
4. Interacción: Los LLM son vistos como tutores conversacionales, mientras que los motores de búsqueda son vistos como estables pero que requieren más iniciativa del usuario.
Preferencia: La mayoría de los participantes expresó una preferencia por una estrategia híbrida sobre la dependencia exclusiva de cualquiera de las dos herramientas.

Contribuciones Clave

Evidencia Empírica: El estudio proporciona datos comparativos sobre el desempeño de los LLM frente a los motores de búsqueda tradicionales específicamente dentro del contexto de la preparación para exámenes de lengua inglesa, ofreciendo valores numéricos para la competencia y las tasas de error basados en diferentes estrategias de búsqueda de información.
Analítica del Comportamiento: Ofrece perspectivas cualitativas sobre la cognición del estudiante, la confianza y la transición entre la IA conversacional y la búsqueda tradicional, destacando la naturaleza dependiente del contexto de la selección de herramientas.
Modelo de Interfaz Híbrida: Basándose en los hallazgos, los autores proponen un modelo de interfaz híbrida orientado a la Interacción Humano-Computadora (HCI). Este prototipo conceptual integra un asistente de LLM directamente dentro de un entorno de búsqueda tradicional. El diseño tiene como objetivo proporcionar asistencia conversacional (resúmenes, borradores) mientras vincula explícitamente los resultados generados con las fuentes subyacentes para apoyar la verificación, reduciendo así la fragmentación del flujo de trabajo y la carga cognitiva sin comprometer el rigor académico.

Significancia y Reivindicaciones
El artículo sostiene que los LLM y los motores de búsqueda tradicionales no deben verse como tecnologías competidoras, sino como componentes complementarios de un flujo de trabajo académico efectivo. El estudio sugiere que los estudiantes adoptan naturalmente estrategias adaptativas para equilibrar la eficiencia con la precisión. La significancia radica en demostrar que un enfoque "híbrido equilibrado" produce la mayor precisión, aunque con un costo de tiempo, lo que indica un compromiso necesario en entornos de aprendizaje de alto nivel.

Los autores enmarcan modestamente su prototipo propuesto como un diseño conceptual destinado a ilustrar principios de interacción más que como un sistema totalmente implementado. Reconocen las limitaciones, incluyendo una muestra de una sola institución, la dependencia de datos autoinformados y el uso de tareas controladas que pueden no reflejar plenamente las experiencias de aprendizaje a largo plazo. En consecuencia, el artículo hace un llamado a futuras investigaciones que involucren muestras más grandes y transculturales, datos conductuales objetivos (por ejemplo, clickstream, seguimiento ocular) y estudios longitudinales para validar el modelo de interacción híbrida propuesto en entornos educativos auténticos.

Más como este