💬 NLP

LLM Pedagogical Behavior in AI Tutoring Interactions

Este estudo introduz uma escala de andaime de cinco níveis validada para analisar mais de 14.000 respostas de tutoria de LLM, revelando que os modelos de IA fornecem predominantemente assistência direta (explicando ou resolvendo) em vez de suporte guiado, um padrão de comportamento que influencia o diálogo do estudante, mas oferece valor preditivo limitado para o desempenho em exames além do aproveitamento prévio.

Autores originais: Suhyeon Lee, Juneha Baek, Jaehyeong Park, Donghyuk Shin

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Suhyeon Lee, Juneha Baek, Jaehyeong Park, Donghyuk Shin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No zumbido silencioso de um laboratório de informática universitário, um novo tipo de tutoria criou raízes, uma que nunca dorme, nunca se cansa e nunca julga. Os estudantes recorrem cada vez mais a modelos de linguagem de grande escala, programas de computador poderosos treinados em vastas quantidades de texto, para ajudá-los a resolver problemas de lição de casa e compreender conceitos difíceis. Esses assistentes digitais podem fazer muitas coisas, mas, no contexto da aprendizagem, existe uma tensão fundamental. Se um tutor oferece pouca ajuda, o aluno pode ficar travado e desistir. Se o tutor oferece ajuda demais, o aluno pode simplesmente copiar a resposta sem nunca aprender a pensar sobre o problema por conta própria. Este equilíbrio é o cerne do desafio: encontrar a quantidade certa de suporte para guiar um aluno sem fazer o trabalho por ele. Pesquisadores há muito estudam como professores humanos navegam nesse espaço, mas permanece incerto como esses novos tutores automatizados se comportam quando os alunos os utilizam em situações de aprendizagem reais e não roteirizadas.

Uma equipe de pesquisadores do KAIST, na Coreia do Sul, partiu para mapear esse território inexplorado. Eles analisaram uma coleção massiva de conversas entre estudantes e um tutor de inteligência artificial durante um curso introdutório de inteligência artificial. Os alunos eram livres para pedir qualquer coisa, desde uma dica simples até uma solução completa, e o computador respondia com base em sua programação padrão, que era simplesmente ser um assistente prestativo. Os pesquisadores queriam saber exatamente que tipo de ajuda o computador estava realmente dando. Para medir isso, eles criaram uma escala de cinco etapas para categorizar cada resposta feita pela IA. No nível mais baixo, o computador poderia não oferecer ajuda real ou simplesmente pedir ao aluno que pensasse com mais afinco. No meio, ele poderia apontar um conceito relevante ou um erro específico sem resolver o problema. No nível mais alto, ele explicaria um método em detalhes ou forneceria a solução completa e pronta para uso para a tarefa específica do aluno.

Quando os pesquisadores examinaram mais de 14.000 respostas de mais de 200 alunos, um padrão impressionante emergiu. A IA quase nunca escolhia o meio-termo. Mais de 95 por cento das vezes, o computador estava explicando um conceito em grande detalhe ou simplesmente resolvendo o problema para o aluno. Respostas que meramente estimulavam o aluno a pensar ou ofereciam uma pequena dica foram incrivelmente raras, compondo menos de cinco por cento de todas as interações. Quer o aluno pedisse ajuda para escrever código, editar um relatório ou entender uma teoria complexa, a reação padrão do computador era fornecer assistência direta e substancial. Ele agia menos como um treinador que guia um jogador através de um exercício e mais como um mecânico que conserta o carro para ele.

Essa tendência de fornecer respostas diretas teve um efeito cascata claro em como os alunos se comportavam em seguida. Quando o computador dava uma solução completa, o aluno provavelmente pedia outro trecho de código ou uma nova tarefa para resolver. Quando o computador oferecia uma explicação, o aluno tinha mais probabilidade de fazer uma pergunta de acompanhamento sobre o conceito subjacente. Os pesquisadores descobriram que o nível de ajuda que o computador dava previa de forma confiável o que o aluno diria na próxima interação da conversa. No entanto, essa reação imediata não se traduziu em melhores notas posteriormente. O estudo observou o desempenho dos alunos em três exames principais, os quais realizaram sem qualquer acesso ao computador. A quantidade de ajuda que o aluno recebeu durante suas sessões de estudo não previu suas notas nos exames melhor do que suas notas passadas ou o simples fato de estarem conversando com o computador.

As descobertas sugerem que, embora essas ferramentas de IA de uso geral sejam incrivelmente ansiosas para ajudar, elas não são naturalmente inclinadas a ensinar de uma forma que force o aluno a um esforço produtivo. Elas tendem a ser solucionadoras de problemas eficientes em vez de educadoras pacientes. Isso não significa que a tecnologia seja inútil, mas revela um comportamento específico: sem instruções explícitas para conter-se e guiar, esses sistemas quase sempre farão o trabalho pesado pelo aluno. Os pesquisadores concluem que, para mudar essa dinâmica, educadores e desenvolvedores devem projetar deliberadamente esses sistemas para oferecer menos ajuda direta, em vez de esperar que a tecnologia encontre naturalmente o equilíbrio por conta própria. Os dados fornecem uma linha de base clara de como essas ferramentas se comportam atualmente, mostrando que o caminho para uma tutoria de IA eficaz pode exigir que ensinemos as máquinas a ensinar, e não apenas a responder.

Resumo Técnico: Comportamento Pedagógico de LLMs em Interações de Tutoria por IA

Definição do Problema

À medida que os estudantes utilizam cada vez mais Modelos de Linguagem de Grande Escala (LLMs) como tutores sob demanda para cursos e resolução de problemas, há uma carência crítica de compreensão empírica sobre o nível de assistência que esses modelos fornecem em interações de aprendizagem autênticas. Embora pesquisas existentes tenham caracterizado padrões de uso dos estudantes (o que os estudantes perguntam) e explorado tutores projetados pedagogicamente, a assistência direta entregue por LLMs de propósito geral permanece subcaracterizada. Essa lacuna é significativa porque o grau de assistência direta determina o papel do aprendiz na tarefa, impactando diretamente o "Dilema da Assistência" (Koedinger & Aleven, 2007) — a tensão entre fornecer pouca ajuda (impedindo o progresso) e muita ajuda (contornando o esforço cognitivo produtivo).

Metodologia

O estudo operacionaliza a dimensão da assistência como nível de andaime (scaffolding level) e desenvolve uma estrutura de medição para analisar 14.637 respostas de LLM de 203 estudantes em um curso introdutório de IA de uma universidade (conjunto de dados StudyChat).

1. Desenvolvimento da Escala de Andaime

Os autores definem uma escala ordinal de cinco níveis ( $L_0$ a $L_4$ ) para classificar as respostas do LLM com base na quantidade de assistência direta fornecida:

$L_0$ (Mínima): Sem assistência substantiva relevante à tarefa (ex: recusas, redirecionamento).
$L_1$ (Estimulação/Prompting): Incentiva o raciocínio ou a tentativa sem direcionar para uma solução.
$L_2$ (Dica/Hinting): Identifica conceitos, funções ou locais de erro relevantes sem fornecer uma solução concreta.
$L_3$ (Explicação/Explaining): Explica uma abordagem ou conceito que o estudante ainda deve aplicar.
$L_4$ (Resolução/Solving): Fornece uma solução completa e específica para a tarefa, utilizável diretamente.

2. Dados e Classificação

Conjunto de Dados: O conjunto de dados StudyChat (McNichols et al., 2026) contendo interações com um modelo GPT-4o-mini usando um prompt de sistema genérico ("Você é um assistente prestativo") sem instruções pedagicas específicas.
Classificação Automatizada: As respostas foram classificadas usando o GPT-4o-mini com temperatura 0, treinado no código de classificação definido.
Validação: Uma amostra estratificada de 300 respostas foi anotada por dois especialistas humanos. O classificador alcançou 75,3% de precisão e um F1 ponderado de .751 contra rótulos humanos adjudicados. A concordância entre os anotadores humanos foi alta ( $\kappa = .901$ ). A maioria dos erros de classificação ocorreu na fronteira $L_3/L_4$ , com uma tendência de subdetectar respostas de "Resolução".

3. Abordagem Analítica

O estudo aborda três Questões de Pesquisa (RQs):

RQ1: Qual é a distribuição dos níveis de andaime e como eles variam por tipo de solicitação e tarefa?
RQ2: O nível de andaime está associado ao comportamento conversacional subsequente do estudante (próximo ato de diálogo)?
RQ3: O nível de andaime fornece informação preditiva adicional em relação ao desempenho subsequente em exames, além do desempenho prévio e do comportamento de diálogo?

Os métodos estatísticos incluíram testes de Kruskal–Wallis para diferenças entre tarefas, testes de Qui-quadrado para associação entre andaime e atos de diálogo subsequentes, e análise de regressão para avaliar o poder preditivo incremental do andaime nos escores dos exames.

Principais Resultados

1. Distribuição de Assistência (RQ1)

O LLM opera predominantemente em altos níveis de assistência.

Concentração: Mais de 95% das respostas são classificadas como Explicação ( $L_3$ , 40,3%) ou Resolução ( $L_4$ , 55,2%).
Raridade de Baixa Assistência: Respostas de Estimulação ( $L_1$ ), Dica ( $L_2$ ) e Mínima ( $L_0$ ) representam coletivamente menos de 5% de todas as interações.
Variação: Embora os níveis de assistência variem significativamente entre diferentes tarefas e tipos de solicitação (ex: solicitações de escrita recebem a maior média de andaime, $\bar{L}=3,72$ ), respostas de alta assistência permanecem dominantes em todos os contextos instrucionais.

2. Associação com a Interação Subsequente (RQ2)

O nível de andaime está sistematicamente associado ao próximo movimento conversacional do estudante.

Padrões Distintos: Após respostas de Resolução ( $L_4$ ), os estudantes mais frequentemente fazem outra solicitação de escrita (29,7%). Após respostas de Explicação ( $L_3$ ), perguntas conceituais são as mais comuns (40,5%). Após Estimulação ( $L_1$ ), os estudantes frequentemente fornecem contexto adicional (34,0%).
Robustez: Esta associação persiste mesmo quando se controla a categoria ampla da solicitação inicial do estudante, indicando que o próprio nível de andaime influencia o fluxo imediato do diálogo.

3. Poder Preditivo para o Desempenho (RQ3)

O nível de andaime fornece pouca informação preditiva adicional em relação ao desempenho subsequente nos exames.

Comparação de Modelos: Modelos de regressão prevendo escores de exames ( $e_1, e_2, e_3$ ) usando desempenho prévio e contagens de atos de diálogo explicaram 12–30% da variância. Adicionar o nível médio de andaime aumentou a variância explicada em apenas 1–2 pontos percentuais.
Significância Estatística: Nenhuma das comparações de modelos atingiu significância estatística convencional ( $p > .05$ ). O coeficiente estimado para o andaime foi inconsistente entre os exames (mudando de direção para $e_3$ ).
Conclusão: Uma vez que o desempenho prévio e o comportamento de diálogo observado são contabilizados, o nível específico de andaime não prevê significativamente os resultados dos exames neste conjunto de dados.

Significância e Alegações

O artigo estabelece uma linha de base empírica para a assistência de LLM em interações de tutoria autênticas. Suas principais contribuições são:

Linha de Base Comportamental: Demonstra que, sem um prompt pedagógico explícito, os LLMs de propósito geral tendem por padrão a uma assistência de alta diretividade (Explicação e Resolução), raramente engajando em estratégias de baixo andaime como estimulação ou dica.
Estrutura de Medição: Introduz uma escala de andaime de cinco níveis validada que pode ser usada para avaliar como intervenções de tutoria alternativas (ex: prompts socráticos, sistemas multi-agentes) alteram a assistência que os estudantes recebem.
Distinção entre Interação e Resultado: Os achados sugerem que, embora o nível de andaime influencie os padrões de interação imediatos (o que o estudante faz a seguir), ele não se traduz necessariamente em diferenças mensuráveis no desempenho subsequente em exames neste contexto específico.

Os autores enfatizam que estes achados não identificam um nível de assistência "ideal", mas sim fornecem um ponto de referência. Eles argumentam que avaliar tutores de LLM requer distinguir entre duas questões: (1) Comportamental: Uma intervenção pedagógica muda a assistência que os estudantes recebem? E (2) Educacional: Essa mudança melhora a aprendizagem? A medida de andaime aborda a primeira questão diretamente, enquanto a segunda permanece uma questão empírica aberta que requer investigação adicional.

Limitações

Os autores reconhecem quatro limitações principais:

Especificidade do Contexto: Os dados vêm de um único curso introdutório de IA e uma configuração de modelo; os resultados caracterizam este cenário, não todos os LLMs de propósito geral.
Granularidade da Classificação: A classificação automatizada é imperfeita, particularmente na fronteira $L_3/L_4$ , e os níveis de baixa assistência são raros, limitando a análise detalhada de $L_0$ – $L_2$ .
Natureza Observacional: O estudo não pode estabelecer causalidade; o conteúdo do prompt, a dificuldade da tarefa e as características do estudante podem influenciar tanto a resposta quanto o comportamento subsequente.
Escopo da Avaliação: A análise avalia a predição incremental em vez de efeitos de aprendizagem causais, e a concentração de respostas em altos níveis de andaime limita a variação disponível para detectar diferenças de desempenho.