Can We Improve Educational Diagram Generation with In-Context Examples? Not if a Hallucination Spoils the Bunch

Resumo Técnico: Melhorando a Geração de Diagramas Educacionais com Exemplos de Aprendizado em Contexto

Declaração do Problema
A inteligência artificial (IA) generativa é cada vez mais utilizada no ensino de computação para produzir materiais instrucionais, incluindo diagramas. No entanto, a qualidade desses resultados continua sendo uma preocupação significativa para educadores e estudantes. Os métodos existentes para geração de código de diagramas, como extração de entidades/relações ou aprendizado em contexto (ICL) padrão, frequentemente sofrem com verbosidade, baixa qualidade de layout e, mais criticamente, alucinações. As alucinações em Grandes Modelos de Linguagem (LLMs) são definidas como desalinhamentos com o contexto de entrada fornecido ou com o conhecimento factual, categorizadas em facticidade (contradição do conhecimento de mundo ou fabricação de fatos não verificáveis) e fidelidade (desvio das instruções do usuário ou do contexto de entrada). Pesquisas empíricas indicam que as taxas de alucinação podem variar de 3% a 86%, mesmo em modelos de alto desempenho. O desafio central abordado é a geração de diagramas educacionais confiáveis e de alta qualidade que adiram estritamente aos contextos dos textos de origem sem introduzir erros factuais ou inconsistências lógicas.

Metodologia
O estudo propõe um novo método de ICL para gerar código de diagrama (especificamente na sintaxe dot do Graphviz) que utiliza a Teoria da Estrutura Retórica (RST) para selecionar exemplos de contexto relevantes. A abordagem baseia-se na premissa de que a RST, que analisa a coerência do texto através de relações hierárquicas entre "unidades de discurso elementares" (EDUs), pode guiar os LLMs a visualizar relações de coerência consistentes com as expectativas do usuário.

O pipeline proposto envolve duas variações, RST1 e RST2, comparadas contra uma linha de base zero-shot (0-shot):

1. Análise RST (Passo 1): O LLM analisa o texto de origem para identificar as EDUs e suas relações retóricas (núcleos e satélites) com base nas diretrizes de anotação de Stede et al. Este passo é ignorado na linha de base 0-shot.
2. Busca de Similaridade (Passo 2): O sistema compara a análise RST gerada contra um dicionário pré-elaborado de quatro tripletos de texto-análise-diagrama de exemplo. O modelo seleciona o exemplo cuja estrutura RST é mais semelhante à entrada.
3. Construção de Exemplo (Passo 3):
   • RST1: Utiliza o texto de origem e o código do diagrama correspondente do exemplo selecionado.
   • RST2: Utiliza a análise RST e o código do diagrama correspondente do exemplo selecionado.
4. Geração ICL (Passo 4): O modelo gera o código inicial do diagrama usando o exemplo selecionado como demonstração.
5. Reparo e Refinamento (Passos 5–7): O código gerado passa por um processo de reparo iterativo para corrigir erros de sintaxe até que seja renderizado. Um passo de refinamento subsequente (Passo 6) solicita ao modelo que melhore a estética do layout (ex: reduzir cruzamentos de linhas, garantir simetria) com base em uma rubrica específica, seguido por um ciclo final de reparo.

O estudo utilizou os modelos GPT-4o e o3, testando-os em 25 textos de origem categorizados por dificuldade (básico, médio, avançado). Um total de 150 diagramas foram gerados e avaliados.

Principais Contribuições

1. Método ICL Baseado em RST: Os autores propõem e avaliam um novo método para selecionar demonstrações de contexto para a geração de código de diagrama baseados na análise de RST, visando reduzir inconsistências de contexto e alucinações em comparação com a geração zero-shot.
2. Rubrica de Avaliação: Uma rubrica de cinco escalas foi desenvolvida para avaliar a qualidade do diagrama em três dimensões:
   • Organização Lógica (C1): Fluxo, estrutura, clareza de linguagem e adesão a convenções.
   • Conectividade (C2): Uniformidade e coesão das conexões (ex: ausência de nós órfãos).
   • Estética de Layout (C3): Presença de problemas como cruzamento de linhas, obstrução de elementos, assimetria e desalinhamento.
3. Análise de Alucinação: Uma investigação aprofundada sobre a relação entre a alucinação de IA (tanto factual quanto de fidelidade) e a qualidade do diagrama, incluindo a propagação de erros através de pipelines de geração de múltiplas etapas.

Resultos

• Desempenho do Modelo: O modelo o3 superou consistentemente o GPT-4o em todos os métodos e métricas, sugerindo que modelos com capacidades de raciocínio mais fortes beneficiam-se mais desta abordagem.
• Eficácia do Método:
  • O RST1 com o3 produziu a maior taxa de diagramas de alta qualidade (pontuação > 3) para organização lógica (C1).
  • O RST2 geralmente teve um desempenho inferior ao RST1 e ao 0-shot para conectividade (C2), provavelmente devido à complexidade de processar análises de RST geradas por LLM como entrada.
  • Os métodos baseados em RST geralmente diminuíram a taxa de alucinações factuais e melhoraram a fidelidade ao contexto de entrada em comparação com a geração zero-shot.
• Achados de Alucinação:
  • Apesar do uso de textos de origem verificados, até 20% dos diagramas gerados por IA continham alucinações factuais.
  • Complexidade do Contexto: A maior complexidade nos textos de origem (nível avançado) correlacionou-se com taxas mais altas de alucinação e pontuações de qualidade de diagrama mais baixas.
  • Propagação de Erros: No pipeline RST2, as alucinações da análise RST inicial (Passo 1) ou da busca de similaridade (Passo 2) foram frequentemente herdadas pelo output final do diagrama.
  • Limitações de Autocorreção: Os LLMs tiveram dificuldade em detectar e reparar seus próprios erros de layout; o passo de refinamento (Passo 6) frequentemente falhou em eliminar alucinações ou introduziu novos problemas de layout.
• Avaliação Automatizada: A avaliação automatizada usando LLMs (métodos E1, E2, E3) mostrou alinhamento moderado com as avaliações humanas, sendo que a reflexão baseada em instrução (E3) e a combinação de instrução/ICL (E2) produziram os melhores resultados, particularmente com o modelo o3.

Significância e Alegações
O artigo alega que seu método ICL baseado em RST oferece um caminho promissor para melhorar a confiabilidade de diagramas educacionais gerados automaticamente, alinhando os outputs do modelo com as expectativas do usuário e reduzindo inconsistências de contexto. No entanto, os autores mantêm uma postura modesta, reconhecendo que a natureza estocástica dos LLMs leva a uma qualidade variável e que pipelines de múltiplas etapas introduzem riscos de propagação de erro.

O estudo conclui que, embora o método proposto diminua a alucinação factual e melhore a fidelidade, não é uma solução completa. Os autores enfatizam que, devido ao risco persistente de alucinação, a aplicação de IA generativa em contextos educacionais requer salvaguardas necessárias para proteger as partes interessadas (professores e alunos). Eles declaram explicitamente que é necessária uma investigação empírica adicional para considerar totalmente a estocasticidade dos LLMs e que sua implementação atual, utilizando um conjunto limitado de exemplos, não abrange todas as relações de coerência existentes.