Resumo Técnico: BEAGLE – Agente de Aprendizagem Fundamentada com Comportamento Exigido para Emulação de Aprendiz

Declaração do Problema

O avanço da inteligência artificial generativa na educação depende fortemente de dados autênticos de estudantes para treinar, avaliar e refinar modelos pedagógicos. No entanto, a aquisição desses dados é dificultada por regulamentações rigorosas de privacidade (por exemplo, FERPA, GDPR), altos custos de estudos longitudinais e preocupações éticas relacionadas a intervenções em menores reais. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma solução potencial para simular comportamentos de estudantes, eles sofrem de um viés de competência fundamental. LLMs ajustados por preferência são otimizados para qualidade e eficiência de resultados, fazendo com que gerem soluções lineares e corretas mesmo quando instruídos a agir como novatos. Isso resulta em três tipos específicos de infidelidade:

1. Infidelidade Comportamental: LLMs evitam os ciclos iterativos de tentativa e erro (por exemplo, loops persistentes de depuração) característicos da Aprendizagem Autorregulada (SRL).
2. Infidelidade Epistêmica: LLMs atuam como "especialistas mascarados", frequentemente possuindo a percepção para diagnosticar erros que não deveriam conhecer, falhando em simular a "maldição da incompetência" (desconhecidos desconhecidos).
3. Infidelidade Perceptiva: O treinamento por RLHF achata a diversidade de saída, falhando em capturar o ruído e a variância emocional da expressão autêntica do estudante.

Metodologia: O Framework BEAGLE

O BEAGLE (Agente de Aprendizagem Fundamentada com Comportamento Exigido para Emulação de Aprendiz) é um framework neuro-simbólico projetado para superar o viés de competência por meio de restrições arquitetônicas, e não apenas engenharia de prompts. Ele opera como um sistema sem treinamento, utilizando backbones de LLM congelados, integrando três subsistemas acoplados:

1. Controle Simbólico (O "Governador")

Este subsistema impõe as dinâmicas temporais e estruturais da aprendizagem com base na teoria da SRL.

• Dinâmicas Semi-Markovianas: Ao contrário dos modelos de Markov padrão que impõem distribuições de duração geométrica, o BEAGLE utiliza um controlador semi-Markoviano com durações distribuídas conforme a distribuição Gama. Isso captura a persistência irregular de estudantes reais (por exemplo, ficar "preso" em um estado) e governa as transições entre comportamentos metacognitivos (Planejamento, Execução, Monitoramento, Reflexão) e comportamentos cognitivos (Construção, Depuração, Avaliação).
• Injeção Explícita de Falhas (EFI) e Rastreamento Bayesiano de Conhecimento (BKT): Para simular "desconhecidos desconhecidos", o BEAGLE combina BKT com EFI. O BKT rastreia a probabilidade de domínio para Componentes de Conhecimento (KCs) específicos. Quando um KC não é dominado, a EFI bloqueia o agente de acessar esse conceito em seu vocabulário. O agente é forçado a improvisar soluções incorretas ou permanecer confuso, impedindo que o LLM aproveite seu conhecimento especialista latente para "trapacear".
• Filtragem de Observação: O feedback é filtrado pelo estado metacognitivo do agente. Durante estados impulsivos de "Execução", os rastros de erro são redigidos, forçando o agente a se envolver em tentativa e erro realista em vez de diagnóstico imediato.

2. Ação Neural (O "Ator")

Este subsistema utiliza uma arquitetura de Estrategista/Ejecutor para desacoplar o planejamento de alto nível da geração de código, prevenindo a autocorreção silenciosa.

• Estrategista: Sintetiza um plano de alto nível consistindo em um Objetivo, Mentalidade e Diretiva com base no estado simbólico atual. Ele atua como um monólogo interno.
• Ejecutor: Gera a ação final (código e monólogo) estritamente condicionada à diretiva do Estrategista. Crucialmente, o Ejecutor é restrito a implementar a diretiva, mesmo que seja falha; ele não pode substituir o plano por uma solução "melhor". Essa separação arquitetônica garante que o agente siga o caminho de raciocínio falho de um novato em vez de corrigi-lo.

3. Ambiente

O ambiente executa o código gerado em um sandbox Python (Oracle de IDE) e fornece observações filtradas de volta ao agente. Ele atualiza as probabilidades de domínio do BKT apenas durante estados de avaliação consciente (Monitoramento/Reflexão), espelhando como os humanos consolidam o conhecimento.

Contribuições Principais

1. Arquitetura Inovadora: O primeiro sistema a impor conjuntamente dinâmicas comportamentais (via controle semi-Markoviano) e restrições de conhecimento (via BKT + EFI) para simular aprendizes novatos.
2. Design de Agente Desacoplado: A divisão Estrategista/Ejecutor previne efetivamente a "autocorreção silenciosa" comum em LLMs, impondo fidelidade epistêmica ao fazer o agente implementar planos falhos.
3. Injeção Explícita de Falhas: Um mecanismo para simular "desconhecidos desconhecidos" bloqueando deterministicamente o acesso a conceitos específicos, forçando o agente a improvisar em vez de acessar conhecimento especialista latente.
4. Avaliação Abrangente: Uma avaliação rigorosa em quatro tarefas (três simulações de física in-distribution, uma tarefa de matemática out-of-distribution), seis backbones de LLM de ponta e nove baselines.

Resultados

O BEAGLE foi avaliado em métricas de fidelidade comportamental, epistêmica e perceptiva:

• Fidelidade Comportamental: O BEAGLE reduziu significativamente a divergência de KL ($D_{KL}$) entre as distribuições de comportamento cognitivo simulado e real (0,31 versus baselines $\ge$ 0,53). Ele reproduziu com sucesso loops iterativos de depuração (transições C$\leftrightarrow$D) que as baselines contornavam sistematicamente.
• Fidelidade Epistêmica: O BEAGLE alcançou uma taxa de recorrência de erros de 86,2%, correspondendo estreitamente à "maldição da incompetência" onde novatos lutam repetidamente com os mesmos erros. Em contraste, baselines como LLMs Vanilla resolveram erros imediatamente (7,8% de recorrência).
• Fidelidade Perceptiva (Teste de Turing Humano): Em um estudo com N=71 participantes (incluindo estudantes, profissionais e educadores), os participantes não puderam distinguir de forma confiável os rastros do BEAGLE de dados reais de estudantes. A precisão de classificação foi de 52,8%, estatisticamente equivalente ao acaso ($p=0,053$). A análise da Teoria de Detecção de Sinais resultou em um índice de discriminabilidade de $d' = 0,15$, e o teste de equivalência (TOST) confirmou que os rastros eram perceptualmente indistinguíveis dos dados reais ($p_{TOST} = 0,038$).
• Generalização: O framework manteve alta fidelidade em diferentes backbones de LLM (Gemini, GPT, Claude) e em tarefas out-of-distribution (Descida de Gradiente), demonstrando que as restrições arquitetônicas generalizam além de capacidades específicas do modelo.

Significado e Alegações

O artigo afirma que o BEAGLE representa um passo significativo para frente na geração sintética de estudantes, avançando além da adoção de personas baseada em prompts para imposição arquitetônica da teoria da aprendizagem. Ao simular com sucesso a "luta" da aprendizagem — incluindo erros persistentes, falta de autoconhecimento e resolução de problemas não linear —, o BEAGLE permite pesquisa educacional em IA escalável e ética. Ele permite que pesquisadores testem intervenções pedagógicas e treinem sistemas de tutoria adaptativa sem os riscos e custos associados à experimentação com estudantes reais. Os autores observam que, embora exista um viés de competência residual nos backbones mais fortes, o framework fornece uma base principista para trabalhos futuros em salas de aula multiagente e controle simbólico adaptativo à capacidade.