Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

Resumo Técnico: Colaboração Humano-IA na Codificação Dedutiva de Diálogos de Sala de Aula

Problema
O diálogo em sala de aula é um mecanismo crítico para a co-construção do conhecimento e o desenvolvimento cognitivo, mas sua análise sistemática via codificação dedutiva permanece um gargalo. A codificação manual utilizando frameworks estabelecidos, como o Cambridge Dialogue Analysis Scheme (CDAS), é cognitivamente exigente, demorada e difícil de escalar. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para automatizar a análise qualitativa, as abordagens supervisionadas convencionais exigem grandes conjuntos de dados anotados, muitas vezes indisponíveis na pesquisa educacional especializada. Além disso, há uma falta de compreensão empírica sobre como implementar sistemas conversacionais leves e configurados para codificação dedutiva e como o processo de colaboração humano-IA se desenrola neste contexto específico.

Metodologia
O estudo empregou uma abordagem de Pesquisa de Design Baseado em Design (DBR) combinada com um design quase-experimental intra-sujeito para abordar três questões de pesquisa: (1) como otimizar um Assistente de Codificação GPT Customizado (CGCA) para codificação dedutiva com dados limitados; (2) como o sequenciamento de fluxo de trabalho (Humano-primeiro vs. IA-primeiro) afeta a colaboração; e (3) quais fatores de nível de usuário influenciam os padrões de colaboração.

• Desenvolvimento do Sistema (RQ1): Os pesquisadores desenvolveram iterativamente um CGCA fundamentado no framework CDAS. As tentativas iniciais usando uma transferência direta do códigobook humano falharam em alcançar um desempenho confiável. Iterações subsequentes focaram em estratégias de engenharia de prompt, incluindo:

  • Arquitetura de Instrução: Transição de listas simples de regras para lógica de árvore de decisão, estruturas if–else e segmentação modular para reduzir a carga cognitiva e alinhar-se às restrições de processamento dos LLMs.
  • Seleção de Exemplares: Curadoria de um pequeno conjunto de exemplos diversos e de alta qualidade (5–15 por categoria, incluindo casos principais, ambíguos e limítrofes), em vez de depender de grandes volumes de dados indiferenciados.
  • Loops de Feedback: Incorporação de etapas de verificação interativa para incentivar a classificação baseada em regras em vez de apenas correspondência de padrões superficiais.
  • Avaliação: O CGCA final foi testado contra 1.386 turnos de diálogo autênticos, codificados por humanos, provenientes de aulas de ensino fundamental, avaliados por meio de precisão, revocação (recall), acurácia e escores F1.

• Estudo de Colaboração (RQ2 & RQ3): Seis pesquisadores educacionais (com variados níveis de proficiência em codificação e experiência com IA) participaram de duas condições de fluxo de trabalho:

  • Condição A (Humano-primeiro): Codificadores atribuem rótulos de forma independente antes de consultar o CGCA.
  • Condição B (IA-primeiro): Codificadores revisam os resultados do CGCA antes de finalizar seus próprios rótulos.
  • Coleta de Dados: Os dados incluíram registros de codificação, logs completos de chat do GPT, protocolos de think-aloud e entrevistas pós-tarefa (incluindo recordação estimulada).
  • Análise: A análise quantitativa mediu a confiabilidade inter-avaliador (Kappa de Cohen) contra uma codificação de referência. A análise qualitativa utilizou uma abordagem temática indutiva para identificar fatores que moldam a colaboração, caracterizados em uma escala ordinal (fraca–moderada–forte) com base em evidências discursivas.

Principais Resultados

• Desempenho do Sistema (RQ1): O CGCA basal inicial apresentou baixa precisão (6,7%–38,2%). Através da refinação iterativa da estrutura do prompt e da curadoria de exemplares, o sistema final alcançou 64,9% de precisão por turno, aproximando-se do acordo entre codificadores humanos de 70–75%. O estudo descobriu que a clareza estrutural (árvores de decisão, raciocínio passo a passo) e exemplos de alta qualidade e ricos em contexto eram mais críticos do que o volume bruto de exemplos.
• Impacto do Fluxo de Trabalho (RQ2): A condição IA-primeiro (Condição B) gerou valores médios de Kappa de Cohen ligeiramente superiores (M ≈ 0,45) em comparação com a condição Humano-primeiro (M ≈ 0,40), embora a diferença não tenha sido estatisticamente significativa devido ao pequeno tamanho da amostra. A Condição B foi associada à redução do tempo de codificação por turno. A análise qualitativa revelou que a Condição B frequentemente desencadeava efeitos de ancoragem, onde os outputs iniciais da IA influenciavam o julgamento humano subsequente, enquanto a Condição A envolvia mais raciocínio próprio e negociação baseada em regras.
• Fatores do Usuário e Padrões de Colaboração (RQ3): O estudo identificou duas orientações distintas na forma como os pesquisadores interagiam com o CGCA:
  1. Orientação Dialógica: Os participantes tratavam a IA como um "amigo crítico" ou interlocutor colaborativo. Eles usavam os outputs da IA para externalizar o raciocínio e recalibrar suas decisões. Este grupo, que incluía codificadores novatos, demonstrou os maiores ganhos de aprendizagem e melhorias na codificação.
  2. Orientação de Supervisão: Os participantes viam a IA como um objeto de escrutínio, mantendo distância epistêmica e focando na verificação da confiabilidade do modelo em vez de engajar em diálogo. Este grupo apresentou menos raciocínio iterativo e menores ganhos de desempenho.
  • Mudança Dinâmica: A posicionalidade não era estática; por exemplo, um participante novato mudou de uma postura deferente para uma postura mais crítica e negociada conforme sua confiança crescia através da interação.

Principais Contribuições

1. Engenharia de Prompt para Codificação Dedutiva: O estudo demonstra que a codificação dedutiva assistida por IA eficaz requer a adaptação dos procedimentos de codificação humana para atender às restrições dos LLMs. Especificamente, decompor julgamentos complexos em lógica de árvore de decisão e usar exemplares curados e diversos produz melhores resultados do que simplesmente inserir grandes codebooks ou exemplos extensos.
2. Framework Sociotécnico: O artigo propõe um framework preliminar que conceitua a colaboração humano-IA na codificação qualitativa como um processo dinâmico e recíproco. Ele postula que os resultados são determinados conjuntamente pelo design do sistema CGCA (arquitetura de prompt), condições contextuais (sequenciamento de fluxo de trabalho) e características do codificador humano (posicionalidade, confiança, conhecimento prévio).
3. Papel da Posicionalidade: Os achados desafiam a noção de que a autoridade humana deve ser estritamente supervisora. Em vez disso, uma postura "dialógica" — onde o humano retém o controle avaliativo final, mas trata a IA como um parceiro de raciocínio — parece gerar maior precisão de codificação e resultados de aprendizagem, particularmente para codificadores menos experientes.

Significância e Alegações
Os autores alegam que a codificação de diálogos apoiada por IA deve ser entendida não meramente como uma tarefa de automação técnica, mas como um processo sociotécnico dinâmico. O estudo sugere que:

• Implicações de Design: Construir ferramentas de IA eficazes exige mais do que traduzir regras humanas; demanda arquiteturas de prompt que se alinhem à teoria da carga cognitiva e aos limites de processamento dos LLMs.
• Dinâmicas Colaborativas: A eficácia da colaboração humano-IA é fortemente influenciada pela posicionalidade do codificador (como eles veem seu relacionamento com a IA). Tratar a IA como um parceiro colaborativo, em vez de uma ferramenta subordinada, pode levar a resultados analíticos e ganhos de aprendizagem mais robustos.
• Equidade na Codificação: O CGCA pode funcionar como um "mecanismo de nivelamento", reduzindo a lacuna de desempenho entre codificadores novatos e experientes quando o novato adota uma orientação dialógica.

Os autores mantêm modéstia em suas alegações, reconhecendo a pequena escala do estudo (n=6), o contexto específico das salas de aula primárias do Reino Unido e a falta de evidências de longo prazo sobre o desenvolvimento independente de habilidades. Eles enfatizam que estratégias de implementação uniformes dificilmente serão eficazes e que pesquisas futuras são necessárias para validar esses achados em amostras maiores e diferentes frameworks de codificação.