Human-Guided AI Interaction in Task-Based Language Teaching: Effects of ChatGPT and Embodied Multimodal Conversational AI in Mixed Reality on ESL Learners’ Job Interview Anxiety and Oral Performance

Resumo Técnico: Interação de IA Guiada por Humanos no Ensino de Línguas Baseado em Tarefas

Problema
Os alunos de Inglês para Fins Específicos (ESP), particularmente aqueles que se preparam para cenários de alto risco como entrevistas de emprego, enfrentam barreiras significativas no desenvolvimento da proficiência oral. A instrução tradicional frequentemente sofre com turmas grandes, falta de personalização e oportunidades limitadas de interação autêntica, o que exacerba a Ansiedade de Língua Estrangeira (FLA). Embora existam diversas intervenções, há uma lacuna crítica em pesquisas integradas que comparem como diferentes modalidades de interação mediadas por IA — especificamente a IA generativa baseada em voz versus agentes multimodais incorporados em Realidade Mista (MR) — impactam simultaneamente o desempenho oral e a ansiedade. Além disso, estudos existentes frequentemente dependem apenas de medidas de ansiedade autorrelatadas, carecendo de dados fisiológicos para capturar estados afetivos em tempo real.

Metodologia
Este estudo empregou um design quase-experimental de métodos mistos ao longo de uma intervenção de seis semanas envolvendo 75 alunos adultos de ESL matriculados em um curso "Skills for Success". Os participantes foram designados para um de três grupos:

1. Grupo de Controle: Instrução tradicional conduzida por instrutor.
2. Grupo ChatGPT: Interação via modo de voz do ChatGPT, utilizando engenharia de prompt para simular um treinador de entrevistas de emprego de ESL.
3. Grupo MECAI (IA Conversacional Multimodal Incorporada): Interação com um agente de IA incorporado dentro de um ambiente de Realidade Mista (utilizando headsets Meta Quest Pro e SDKs Unity/Convai). O agente apresentava olhar, gestos e interação de voz dentro de um cenário de escritório simulado.

Coleta e Análise de Dados:

• Desempenho: Entrevistas de emprego simuladas pré- e pós-intervenção foram avaliadas usando uma rubrica analítica padronizada abrangendo fluência, pronúncia, gramática, vocabulário, conteúdo e relevância. As pontuações foram agregadas para uma métrica de desempenho geral.
• Ansiedade: Medida via Escala de Ansiedade de Sala de Aula de Língua Estrangeira (FLCAS) e monitoramento fisiológico da frequência cardíaca (Polar OH1) durante as entrevistas.
• Qualitativo: Entrevistas estruturadas com os participantes foram analisadas tematicamente para compreender as percepções dos alunos.
• Estatístico: Uma ANOVA de medidas repetidas de dois fatores foi utilizada para analisar as diferenças de desempenho, frequência cardíaca e pontuações de FLCAS entre os grupos e ao longo do tempo.

Principais Resultados

• Desempenho Oral: Todos os grupos mostraram melhoria significativa do pré para o pós-teste. No entanto, o grupo MECAI demonstrou os maiores ganhos (pré: 9,36; pós: 18,52), seguido pelo grupo ChatGPT (pré: 8,96; pós: 15,52) e pelo grupo de controle (pré: 7,92; pós: 12,88). Comparações pareadas confirmaram diferenças estatisticamente significativas entre as três condições ($p < 0,001$).
• Ansiedade (FLCAS e Frequência Cardíaca): Embora tendências descritivas tenham sugerido uma redução na ansiedade para o grupo MECAI (tanto em autorrelatos quanto na frequência cardíaca), nem o FLCAS nem as medidas de frequência cardíaca atingiram significância estatística entre os grupos ou ao longo do tempo. O estudo observa que as melhorias de desempenho podem preceder reduções mensuráveis de ansiedade, ou que a natureza de alto risco da tarefa manteve a excitação fisiológica apesar da melhoria na habilidade.
• Achados Qualitativos: A análise temática revelou quatro temas principais:
  1. O Papel da IA na Confiança: A IA proporcionou um ambiente livre de julgamentos para prática, embora a falta de pistas não verbais no grupo apenas de voz tenha sido observada como uma limitação.
  2. Imersão e Presença: O grupo MECAI relatou um forte senso de "estar lá" e realismo, com o agente incorporado sendo percebido como uma "pessoa real" ou um conselheiro de confiança.
  3. Instrutor Humano Indispensável: Todos os grupos enfatizaram que a IA serve como um suplemento, não um substituto, para professores humanos que fornecem sintonia emocional e orientação cultural.
  4. Gerenciamento de Ansiedade: Os alunos viram a ansiedade moderada como potencialmente produtiva e notaram que a IA reduzia o medo de avaliação negativa em comparação com interlocutores humanos.

Significância e Alegações
O artigo alega que a IA conversacional incorporada em Realidade Mista oferece vantagens significativas para o desenvolvimento da fala em ESP, superando tanto a instrução tradicional quanto a IA apenas de voz em termos de ganhos de desempenho oral. O estudo sugere que a "incorporação" do agente de IA — fornecendo pistas visuais, gestos e um senso de presença social — contribui para esses ganhos de forma mais eficaz do que a interação apenas de áudio.

No entanto, o autor mantém uma postura modesta em relação à redução da ansiedade. Eles afirmam explicitamente que o estudo não fornece evidências fortes de que a prática mediada por IA reduz a ansiedade dentro do período de seis semanas, uma vez que a significância estatística não foi alcançada para as medidas de ansiedade. A significância do trabalho reside em demonstrar que, embora a IA (particularmente a baseada em MR) possa aumentar significativamente o desempenho, ela funciona melhor como uma ferramenta pedagógica guiada por instrutores humanos, em vez de uma solução autônoma. A pesquisa destaca a necessidade de investigações adicionais sobre os mecanismos de presença social e a transferência de habilidades a longo prazo para contextos de emprego autênticos.