T2MM: An LLM Supported Architecture For Inquiry-Based Modeling

Resumo Técnico: T2MM – Uma Arquitetura Suportada por LLM para Modelagem Baseada em Investigação

Declaração do Problema
A construção de modelos é uma prática fundamental na aprendizagem de ciências e na educação baseada em investigação, exigindo que os alunos visualizem, interajam e refinem iterativamente modelos conceituais. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido integrados em contextos educacionais para disciplinas como programação e escrita, sua aplicação na aprendizagem de ciências tem recuado, em grande parte, à interação textual devido aos desafios técnicos de gerar saídas multimodais interativas. As arquiteturas multimodais existentes para a educação frequentemente falham em suportar a interatividade de múltiplos passos necessária ou enfrentam limitações técnicas ao gerar visualizações dinâmicas. Especificamente, sistemas que dependem da geração de código completo (por exemplo, gerando blocos inteiros de XML ou código do zero) frequentemente carecem de consciência de contexto sobre o estado atual do modelo, levando a erros em ambientes complexos e específicos de ontologia, como softwares de modelagem científica.

Metodologia
Os autores propõem o Text to Multimodal Model (T2MM), uma arquitetura robusta projetada para auxiliar alunos na construção de modelos dentro do VERA (Virtual Experimental Research Assistant), uma plataforma de modelagem conceitual e simulação baseada em ecologia.

• Design da Arquitetura:
  T2MM opera através de um ciclo de três componentes:

1. Sistema VERA: O aluno interage via interface de chat. O sistema recupera o estado atual do modelo (representado como XML no banco de dados do VERA) e o converte em um formato JSON minimalista.
2. Sistema LLM (ChatGPT-4.1-mini): O sistema envia o JSON do modelo atual, a solicitação em linguagem natural do aluno e um prompt contendo a ontologia do VERA e exemplos N-shot para o LLM. Crucialmente, não se pede ao LLM para gerar o código final do modelo ou o XML. Em vez disso, ele gera uma sequência de ações (ex: "Criar Nó", "Editar Relacionamento", "Excluir Nó") necessárias para transformar o estado atual no estado pretendido.
3. Parser de Sequência de Ações e API: As sequências de ações geradas são validadas contra a ontologia do VERA para garantir consistência lógica (ex: impedir que um nó abiótico consuma um nó biótico). As ações validadas são mapeadas para chamadas de API específicas do VERA (ex: addNode(), updateParameter()), que atualizam o banco de dados e renderizam as mudanças em tempo real no frontend.

• Estratégia de Avaliação:
  Para medir a viabilidade técnica, os autores criaram um conjunto de dados personalizado e gerado proceduralmente de 975 pares de solicitações em linguagem natural e modelos alvo. Estes foram derivados de modelos biológicos de especialistas, decompostos em várias etapas de criação e modificados algoritmicamente.
  A arquitetura T2MM foi comparada com duas linhas de base (baselines) que dependem de geração de código completo:
• 0-Shot: O LLM gera o XML diretamente sem exemplos.
• N-Shot: O LLM gera o XML diretamente com exemplos de triplas modelo/solicitação/XML de poucos disparos (few-shot).

O desempenho foi avaliado usando quatro métricas:

1. Sucesso de Compilação: Se o conteúdo gerado pôde ser analisado (parsed) e carregado no VERA sem erros.
2. Distância de Edição de Grafo (Graph Edit Distance): A diferença estrutural entre o modelo gerado e o modelo alvo (0 indica uma correspondência perfeita; -1 indica falha de compilação).
3. Sucesso por Tamanho de Solicitação: Desempenho relativo ao comprimento da sequência de ações necessária.
4. Sucesso por Tipo de Solicitação: Desempenho através de tarefas de "Criar Modelo" (do zero), "Editar Modelo" (modificando o existente) e "Alterar Parâmetro".

Principais Resultados

• Compilação: O T2MM alcançou uma taxa de compilação de 100%, enquanto a linha de base 0-Shot falhou em 3,38% dos casos e a linha de base N-Shot falhou em 0,31% dos casos.
• Precisão Estrutural: O T2MM superou significativamente as linhas de base em correção estrutural. A Distância de Edição de Grafo média para o T2MM foi de 0,298, comparada a 1,638 para o 0-Shot e 3,572 para o N-Shot. A arquitetura N-Shot frequentemente introduzia variações de parâmetros aleatórias e falhava em manter a integridade estrutural.
• Tratamento de Complexidade: O T2MM demonstrou forte capacidade de construir modelos que exigem até cinco ações. As taxas de sucesso caíram para sequências mais longas (abaixo de 4% para oito ações), mas permaneceram superiores às linhas de base.
• Desempenho por Tipo de Tarefa:
  • Criação de Modelo (do zero): O T2MM alcançou 79,38% de precisão. Em forte contraste, a arquitetura 0-Shot falhou em 100% dos casos, e a N-Shot teve sucesso em apenas 8,31% dos casos.
  • Edição/Mudanças de Parâmetros: Ambas as linhas de base tiveram melhor desempenho nestas tarefas do que na criação total, sugerindo que arquiteturas de geração de código dependem fortemente do contexto do XML existente para formatar a saída corretamente.

Significância e Contribuições
O artigo afirma que o T2MM representa a primeira arquitetura de IA na Educação a utilizar sequências de ações geradas por LLM fundamentadas em um estado de modelo vivo do aluno para apoiar a modelagem conceitual interativa.

• Mudança do Resultado para a Ação: A principal contribuição é a mudança arquitetônica de pedir aos LLMs para gerar representações completas e estáticas (XML/Código) para gerar passos compactos e acionáveis. Esta abordagem mitiga os riscos de "alucinação" associados à geração de grandes quantidades de texto e garante que a saída permaneça consistente com a ontologia do sistema.
• Viabilização do Ciclo de Investigação: Ao garantir que os modelos permaneçam interativos e responsivos ao ajuste manual, o T2MM apoia o "ciclo de investigação" iterativo (geração de hipóteses, teste, avaliação) essencial para a aprendizagem de ciências, o que a geração de imagens estáticas ou de código não confiável não consegue suportar.
• Redução da Carga Cognitiva: Os autores sugerem que, ao automatizar a construção técnica de modelos complexos, o T2MM pode reduzir a carga cognitiva dos alunos, permitindo que foquem no processo de investigação científica em vez das mecânicas da ferramenta de modelagem.

Limitações
Os autores reconhecem que a arquitetura é atualmente específica para a ontologia do VERA e para a estrutura de modelo baseada em XML, levantando questões sobre a generalização para outros ambientes de aprendizagem de ciências sem APIs semelhantes. Além disso, a avaliação foi limitada à correção estrutural (edição de grafos) e não incluiu avaliações qualitativas da representação visual ou estudos de usuários reais com alunos de fato. Trabalhos futuros são propostos para abordar estas lacunas, incluindo a avaliação por especialistas de aspectos visuais e testes com solicitações de alunos mais naturais.