Resumo Técnico: Análise de Sentimento Assistida por LLM para Pesquisa Educacional em Métodos Mistos Computacionais e Qualitativos Integrados

Declaração do Problema

Atribuições de reflexão escrita são uma ferramenta pedagógica vital na educação em engenharia, oferecendo aos estudantes oportunidades de autoavaliação crítica e fornecendo dados qualitativos ricos para pesquisadores. No entanto, a análise desses conjuntos de dados qualitativos é tradicionalmente intensiva em tempo, particularmente ao tentar comparar achados entre múltiplas variáveis demográficas (por exemplo, gênero, renda, experiência prévia de viagem). A análise qualitativa convencional frequentemente limita as comparações a uma única variável devido ao trabalho envolvido. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham surgido como potenciais assistentes de pesquisa para análise de sentimento e codificação, sua integração em fluxos de trabalho rigorosos e longitudinais de métodos mistos — especificamente para dados sensíveis de estudantes — permanece pouco explorada. Há uma necessidade de determinar como os LLMs podem efetivamente aumentar os pesquisadores humanos na identificação de tendências de sentimento entre múltiplas variáveis de identidade sem comprometer a privacidade dos dados ou o rigor analítico.

Metodologia

O estudo emprega um desenho de métodos mistos "quase-convergente paralelo", aplicando análises quantitativas e qualitativas ao mesmo conjunto de dados qualitativo (reflexões dos estudantes). A pesquisa utiliza um estudo de caso longitudinal de 51 estudantes universitários de engenharia participando de um programa de um mês no exterior no Japão.

Coleta de Dados:

• Conjunto de Dados: 151 reflexões escritas coletadas em três momentos (início, meio e fim do programa).
• Foco: Respostas que abordavam especificamente linguagem verbal e comportamentos de comunicação foram extraídas.
• Variáveis: Sete variáveis de identidade/experiência vivida dos estudantes foram analisadas: experiência prévia vivendo no exterior, conhecimento de língua estrangeira, pais nascidos no exterior, status de baixa renda, frequência universitária de primeira geração, status de americano de primeira geração e identidade asiática/asiático-americana.

Pipeline de Análise (Seis Estágios):

1. Processamento de Dados e Familiarização: Pesquisadores humanos leram todas as reflexões e escreveram memos analíticos.
2. Extração Manual de Citações: Pesquisadores isolaram manualmente citações relacionadas à linguagem verbal e comunicação.
3. Rotulagem Híbrida de Sentimento:
   • Humano: Um pesquisador atribuiu rótulos iniciais de sentimento (Positivo, Negativo, Neutro).
   • LLM: Um LLM de código aberto (Llama3 da MetaAI, 8 bilhões de parâmetros) foi instruído a atribuir rótulos de sentimento às mesmas citações. O modelo foi executado localmente via Ollama para garantir privacidade de dados e conformidade ética, já que os participantes não consentiram com o compartilhamento de dados com terceiros.
   • Resolução de Discrepâncias: O pesquisador humano revisou as saídas do LLM. Discrepâncias foram discutidas e os rótulos humanos foram revisados se a interpretação inicial fosse considerada imprecisa. O LLM não foi re-instruído.
   • Confiabilidade: A confiabilidade interavaliador foi medida usando o kappa de Cohen ($\kappa$).
4. Análise Qualitativa: Codificação temática indutiva foi realizada nas citações para identificar temas principais (por exemplo, experiências prévias, preparação, dinâmicas de linguagem, resultados percebidos).
5. Análise Quantitativa: Testes estatísticos (teste t de Student ou teste de soma de postos de Wilcoxon, dependendo da normalidade) foram conduzidos para comparar contagens de sentimento entre as sete variáveis de identidade. Tamanhos de efeito (d de Cohen ou correlação bisserial de posto de Glass) foram calculados.
6. Interpretação: Achados qualitativos foram interpretados no contexto de resultados quantitativos estatisticamente significativos.

Principais Resultados

1. Desempenho do LLM e Fluxo de Trabalho (PQ1):

• Eficiência: O LLM processou citações significativamente mais rápido do que o pesquisador humano (aproximadamente 2–3 citações por tempo de rotulagem humana).
• Confiabilidade: A confiabilidade interavaliador entre o codificador humano e o Llama3 foi "substancial" em todos os momentos ($\kappa = 0,52$ para Reflexão 1; $\kappa = 0,64$ para Reflexão 3; $\kappa = 0,67$ para Reflexão 4).
• Valor Colaborativo: Discrepâncias entre rótulos humanos e do LLM não foram aleatórias. O LLM frequentemente atribuiu rótulos afetivos (positivo/negativo) a declarações que o codificador humano via como neutras/descritivas. Essas divergências provocaram discussão reflexiva mais profunda e refinamento dos critérios de codificação, atuando como um "segundo codificador" que aprofundou o engajamento interpretativo.
• Limitações: O fluxo de trabalho exigiu configuração técnica significativa inicial (scripting em Python) e engenharia de prompts iterativa. O LLM ocasionalmente gerou texto extrínseco ou rotulou incorretamente instruções de prompt, necessitando de pós-processamento humano.

2. Achados do Estudo de Caso (PQ2):

• Variável Significativa: Entre as sete variáveis de identidade testadas, experiência prévia vivendo no exterior foi o único fator mostrando diferenças estatisticamente significativas na expressão de sentimento em todos os momentos.
• Tendências Longitudinais:
  • Estudantes com Experiência Prévia Vivendo no Exterior (LA): Expressaram mais sentimentos negativos em relação à comunicação na Reflexão 1 (início) em comparação com aqueles sem. Eles lutaram para aproveitar habilidades linguísticas prévias no contexto japonês e sentiram apreensão sobre possíveis mal-entendidos. Até a Reflexão 4, seus sentimentos permaneceram relativamente estáveis, mas mudaram para ver auxílios de comunicação como um "último recurso".
  • Estudantes sem Experiência Prévia Vivendo no Exterior (Não-LA): Expressaram mais sentimentos negativos no meio do programa (Reflexão 3) em comparação com estudantes LA, impulsionados por expectativas desalinhadas sobre a facilidade de navegar barreiras linguísticas e frustração com esforços de preparação. No entanto, até a Reflexão 4, este grupo mostrou uma mudança significativa para sentimentos positivos, expressando maior confiança e reestruturando desafios de comunicação como oportunidades valiosas de aprendizado.

Significado e Alegações

O artigo alega que este fluxo de trabalho oferece um método viável para pesquisadores qualitativos investigarem múltiplas variáveis demográficas simultaneamente, uma tarefa frequentemente limitada pelas restrições de tempo da análise tradicional.

• Contribuição Metodológica: O estudo demonstra que LLMs podem servir como parceiros colaborativos eficazes na pesquisa qualitativa, especificamente para rotulagem de sentimento, desde que sejam usados em uma capacidade de "humano no loop". O uso de modelos de código aberto executados localmente aborda preocupações éticas críticas regarding privacidade de dados e consentimento dos participantes.
• Insight Educacional: Os achados destacam que a experiência internacional prévia molda significativamente como os estudantes percebem e navegam barreiras de comunicação durante programas no exterior. Estudantes sem tal experiência passam por uma trajetória emocional distinta, movendo-se da frustração para o crescimento, enquanto estudantes experientes enfrentam desafios diferentes relacionados à aplicabilidade de suas habilidades existentes.
• Implicação Prática: O estudo sugere que educadores e administradores podem usar esses insights para adaptar o suporte pré-partida: encorajando estudantes com experiência prévia a refletir sobre a transferibilidade intercultural de habilidades, enquanto ajudam estudantes sem tal experiência a gerenciar expectativas e focar em estratégias práticas de comunicação em vez de apenas vocabulário.

Os autores mantêm uma postura modesta, reconhecendo que os tamanhos de efeito observados foram pequenos a médios, limitando a generalização para outros contextos (por exemplo, programas mais longos ou programas específicos de imersão linguística). Eles enfatizam que LLMs não substituem a análise qualitativa, mas podem acelerar a identificação de tendências para guiar uma interpretação humana mais profunda.