📄 ciências sociais

Search in Transition: A Mixed-Methods Study of LLMs and Search Engines in English Test Preparation

Este estudo de métodos mistos revela que estudantes universitários em preparação para testes de língua inglesa combinam estrategicamente LLMs para eficiência e mecanismos de busca para verificação, sendo que aqueles que empregam uma abordagem híbrida equilibrada alcançam a maior precisão, apesar de tempos de conclusão de tarefas mais longos, apoiando, em última análise, um novo modelo de interface para a aprendizagem mediada por IA confiável.

Autores originais: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

Publicado 2026-10-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Todos os anos, milhões de estudantes universitários ao redor do mundo se preparam para exames de proficiência em inglês de alto nível, como o IELTS ou o TOEFL. Esses testes são frequentemente os guardiões finais para estudar no exterior ou garantir uma carreira, exigindo não apenas o domínio de vocabulário e gramática, mas a capacidade de sintetizar informações complexas rapidamente. Por décadas, a abordagem padrão para essa preparação tem sido o mecanismo de busca tradicional. Um estudante digita uma pergunta, filtra uma lista de links, lê múltiplos artigos e monta a resposta. É um método construído sobre autoridade e verificação, mas pode ser lento e mentalmente exaustivo. Nos últimos anos, uma nova ferramenta entrou em cena: o modelo de linguagem de grande escala. Estes são sistemas de inteligência artificial conversacional que podem responder perguntas, escrever ensaios e explicar regras em uma única resposta fluida. Eles parecem ter um tutor disponível a qualquer momento. Mas, à medida que essas duas tecnologias colidem nas mentes dos estudantes, surge uma questão crítica: elas competem ou funcionam melhor juntas?

Pesquisadores da United International University, em Bangladesh, propuseram-se a responder a isso observando como os estudantes realmente se comportam diante de problemas reais de teste. Eles não apenas perguntaram aos estudantes o que eles preferiam; eles os observaram trabalhando. A equipe reuniu um grande grupo de 140 estudantes universitários para preencherem questionários sobre seus hábitos e sentimentos em relação a essas ferramentas. Para obter um olhar mais profundo, eles trouxeram 20 desses estudantes para uma sessão mais íntima. Nesta segunda fase, os estudantes foram solicitados a completar sete tarefas específicas que mimetizam os desafios de um exame de proficiência em inglês, como resumir um texto difícil, corrigir erros gramaticais ou escrever um pequeno texto de opinião. Os pesquisadores então observaram atentamente para ver quais ferramentas os estudantes buscavam, quanto tempo as tarefas levavam e qual era a precisão das respostas finais.

Os resultados revelaram um padrão claro de como os estudantes navegam neste cenário digital. Quando os estudantes dependiam exclusivamente da IA conversacional, trabalhavam rapidamente, completando suas tarefas em uma média de 24 minutos. Suas respostas eram fluentes e bem estruturadas, obtendo uma pontuação de precisão de 88 por cento. Quando os estudantes se mantinham no mecanismo de busca tradicional, levavam mais tempo, com uma média de 31 minutos, e sua precisão caía para 80 por cento. O mecanismo de busca exigia que eles saltassem entre muitas páginas da web diferentes para encontrar e verificar informações, um processo que frequentemente levava à confusão ou a detalhes perdidos. No entanto, o grupo mais bem-sucedido não foi aquele que escolheu apenas uma ferramenta. Os estudantes que adotaram uma estratégia híbrida — usando a IA para gerar um rascunho ou explicação rápida e depois mudando para o mecanismo de busca para verificar fatos e confirmar regras — alcançaram a maior precisão de 90 por cento.

Este desempenho superior veio com um custo. O grupo híbrido levou o maior tempo para completar seu trabalho, com uma média de 35 minutos. Eles tiveram que parar, pensar e alternar contextos entre a interface conversacional e a lista de resultados de busca. Apesar do tempo extra, esses estudantes relataram sentir-se mais confiantes em suas respostas. Eles entendiam que a IA era uma poderosa geradora de ideias, mas poderia ocasionalmente cometer erros ou oferecer explicações vagas, enquanto o mecanismo de busca era uma fonte confiável de verdade, mas poderia ser avassalador para navegar. Ao combiná-los, eles conseguiram o melhor dos dois mundos: a velocidade e clareza da IA, respaldadas pela credibilidade do mecanismo de busca.

O estudo sugere que o futuro da aprendizagem neste contexto não é sobre escolher uma tecnologia em detrimento da outra, mas sobre integrá-las. Os pesquisadores observaram que os estudantes naturalmente gravitavam para um fluxo de trabalho onde a IA lidava com o trabalho pesado de escrita e resumo, enquanto o mecanismo de busca servia como uma rede de segurança para checar fatos. Esse comportamento destaca uma necessidade crescente de ferramentas que não forcem os usuários a escolher entre eficiência e precisão. Os autores propõem um novo tipo de interface onde a IA conversacional vive diretamente dentro do mecanismo de busca. Neste sistema imaginado, um estudante poderia fazer uma pergunta, receber uma resposta clara e resumida da IA, e ver os links específicos para as fontes originais logo ao lado dela. Isso eliminaria a necessidade de alternar constantemente entre diferentes abas ou aplicativos, reduzindo o esforço mental necessário para verificar informações.

Em última análise, a pesquisa indica que os estudantes já estão agindo como seus próprios designers, descobrindo como misturar essas tecnologias para ter sucesso. Eles não estão tratando a IA como um substituto para o mecanismo de busca, nem estão ignorando a IA em favor de métodos antigos. Em vez disso, estão construindo um fluxo de trabalho pessoal que aproveita os pontos fortes de cada uma. O estudo conclui que, para o aprendizado de alto nível, o caminho mais eficaz é uma abordagem híbrida que respeite a velocidade da inteligência artificial enquanto mantém a rigorosa verificação da busca tradicional, garantindo que as respostas encontradas pelos estudantes sejam não apenas rápidas, mas também verdadeiras.

Resumo Técnico: Busca em Transição

Definição do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) influenciam cada vez mais a busca de informações acadêmicas, os estudantes universitários estão adotando fluxos de trabalho híbridos que combinam a IA conversacional com mecanismos de busca tradicionais. No entanto, há uma carência de pesquisa empírica sobre como essas ferramentas são integradas estrategicamente durante a preparação para testes de proficiência em língua inglesa de alto nível (ex: IELTS, TOEFL). Embora os LLMs ofereçam eficiência na geração de explicações e conteúdos, eles podem produzir informações fluentes, porém factualmente incorretas ou contextualmente irrelevantes. Por outro lado, os mecanismos de busca tradicionais fornecem fontes verificáveis e autoritativas, mas exigem um esforço cognitivo significativo para navegar, sintetizar e verificar informações entre múltiplas páginas da web. O problema central abordado é o equilíbrio entre eficiência e confiabilidade, e as estratégias específicas que os estudantes empregam para gerenciar a carga cognitiva e a confiança epistêmica ao resolver problemas de testes de língua inglesa.

Metodologia
O estudo utiliza um design de pesquisa de métodos mistos envolvendo duas fases distintas:

Levantamento Quantitativo: Um questionário foi administrado a 140 estudantes universitários de diversas disciplinas (principalmente Ciência da Computação, Engenharia, Negócios e Inglês) na United International University, Bangladesh. O instrumento mediu quatro dimensões principais para ambas as ferramentas (LLM-based e mecanismos de busca tradicionais): frequência de uso, satisfação, eficiência percebida e facilidade de uso. Os dados foram analisados por meio de estatística descritiva, testes de postos sinalizados de Wilcoxon (para comparações pareadas), testes de Friedman (para diferenças de dimensões dentro da mesma ferramenta) e testes de Qui-quadrado (para associação de gênero com preferência).
Entrevistas Qualitativas Baseadas em Tarefas: Entrevistas em profundidade foram realizadas com 20 estudantes que completaram sete tarefas representativas de testes de língua inglesa (sumarização, correção gramatical, seleção de vocabulário, paráfrase e tarefas de escrita). Os participantes foram categorizados em quatro grupos de uso: apenas LLM, apenas mecanismo de busca, equilíbrio de ferramentas (uso sequencial de ambos) e escolha flexível. O desempenho nas tarefas foi avaliado por rubricas predefinidas por dois avaliadores independentes (confiabilidade interavaliador $\kappa = 0,82$ ), medindo precisão e tempo de conclusão. A análise temática foi aplicada às transcrições das entrevistas e às respostas abertas do levantamento.

Resultos Principais

Diferenças Percebidas: Estatísticas descritivas indicaram que os LLMs foram percebidos como mais satisfatórios e eficientes, enquanto os mecanismos de busca tradicionais foram classificados com pontuações mais altas para facilidade de uso e frequência de uso. No entanto, comparações estatísticas pareadas (testes de postos sinalizados de Wilcoxon) revelaram que não houve diferenças estatisticamente significativas entre os dois tipos de ferramentas em nenhuma das quatro dimensões medidas ao nível de $\alpha = 0,05$ .
Compromissos de Desempenho: Na fase de entrevista, o grupo de Equilíbrio de Ferramentas (estudantes que alternavam entre LLMs e mecanismos de busca) alcançou a maior precisão nas tarefas (90%), mas exigiu o maior tempo de conclusão (35 minutos). O grupo apenas LLM foi o mais rápido (24 minutos) com uma precisão de 88%, enquanto o grupo apenas Mecanismo de Busca teve uma precisão de 80% e um tempo de conclusão de 31 minutos.
Temas Qualitativos: Quatro temas dominantes emergiram:
1. Adequação da Tarefa: LLMs são preferidos para sumarização, paráfrase e redação; mecanismos de busca são preferidos para verificação de regras e fontes autoritativas.
2. Confiabilidade: Estudantes confiam em mecanismos de busca para checagem de fatos devido a preocupações com alucinações de LLMs, apesar de apreciarem a fluência do LLM.
3. Carga Cognitiva: LLMs reduzem o esforço cognitivo ao fornecer saídas imediatas, mas fluxos de trabalho híbridos, embora consumam mais tempo, levam a maior confiança e qualidade.
4. Interação: LLMs são vistos como tutores conversacionais, enquanto mecanismos de busca são vistos como estáveis, mas que exigem mais iniciativa do usuário.
Preferência: A maioria dos participantes expressou preferência por uma estratégia híbrida em vez da dependência exclusiva de apenas uma ferramenta.

Principais Contribuições

Evidência Empírica: O estudo fornece dados comparativos sobre o desempenho de LLMs versus mecanismos de busca tradicionais especificamente no contexto de preparação para testes de língua inglesa, oferecendo valores numéricos para proficiência e taxas de erro baseados em diferentes estratégias de busca de informação.
Análise Comportamental: Oferece insights qualitativos sobre a cognição do aprendiz, confiança e a transição entre a IA conversacional e a busca tradicional, destacando a natureza dependente do contexto na seleção de ferramentas.
Modelo de Interface Híbrida: Com base nos achados, os autores propõem um modelo de interface híbrida orientado à Interação Humano-Computador (IHC). Este protótipo conceitual incorpora um assistente de LLM diretamente dentro de um ambiente de busca tradicional. O design visa fornecer assistência conversacional (resumos, rascunhos) enquanto vincula explicitamente os resultados gerados às fontes subjacentes para apoiar a verificação, reduzindo assim a fragmentação do fluxo de trabalho e a carga cognitiva sem comprometer o rigor acadêmico.

Significância e Alegações
O artigo afirma que os LLMs e os mecanismos de busca tradicionais não devem ser vistos como tecnologias concorrentes, mas como componentes complementares de um fluxo de trabalho acadêmico eficaz. O estudo sugere que os estudantes adotam naturalmente estratégias adaptativas para equilibrar eficiência com precisão. A significância reside em demonstrar que uma abordagem "híbrida equilibrada" produz a maior precisão, embora com um custo de tempo, indicando um compromisso necessário em ambientes de aprendizagem de alto nível.

Os autores enquadram modestamente seu protótipo proposto como um design conceitual destinado a ilustrar princípios de interação, em vez de um sistema totalmente implementado. Eles reconhecem limitações, incluindo a amostra de uma única instituição, a dependência de dados autorrelatados e o uso de tarefas controladas que podem não refletir totalmente as experiências de aprendizagem de longo prazo. Consequentemente, o artigo apela para pesquisas futuras envolvendo amostras maiores e transculturais, dados comportamentais objetivos (ex: rastreamento de cliques, rastreamento ocular) e estudos longitudinais para validar o modelo de interação híbrida proposto em ambientes educacionais autênticos.

Mais como este