Investigating LLM's Problem Solving Capability -- a Study on Statics Questions

Resumo Técnico: Investigando a Capacidade de Resolução de Problemas de LLMs – Um Estudo sobre Questões de Estática

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) influenciaram rapidamente a educação, demonstrando a capacidade de completar tarefas e exames em diversas disciplinas. No entanto, pesquisas existentes sobre seu impacto educacional frequentemente dependem de conjuntos de dados de problemas públicos ou abertos e carecem de análise específica por tópico, particularmente dentro da engenharia mecânica. Há uma investigação sistemática limitada sobre como os LLMs se comportam em tipos específicos de problemas, como estática, e se suas capacidades evoluíram o suficiente para justificar atualizações nas avaliações educacionais. Métodos de avaliação tradicionais, que envolvem o uso de comandos diretos (prompting) de questões de livros didáticos para os LLMs, mostraram limitações, particularmente em problemas tridimensionais e interpretação de diagramas.

Metodologia
Para abordar essas lacunas, os autores adotaram uma abordagem inspirada na destilação de modelos em vez do teste direto tradicional. O estudo procedeu através das seguintes fases:

1. Avaliação Inicial e Pivô: Testes iniciais utilizando questões de livros didáticos da "McGraw Hill Connect" revelaram que os LLMs (especificamente o ChatGPT) tiveram dificuldades significativas com problemas de estática tridimensional, frequentemente atribuindo incorretamente componentes vetoriais entre os eixos de coordenadas. Além disso, ao serem instigados a gerar problemas de estática, os modelos produziram questões repetitivas, majoritariamente bidimensionais e simplistas.
2. Construção do Conjunto de Dados via Destilação: Reconhecendo que os LLMs apresentam melhor desempenho em problemas alinhados com sua distribuição de treinamento interna, os pesquisadores instigaram o ChatGPT a gerar um grande conjunto de problemas de estática. Através de um processo iterativo de geração e comparação, eles filtraram instâncias repetitivas para criar um Conjunto de Dados Apenas de Texto final de 25 problemas de estática bidimensional únicos. Estes foram categorizados por dificuldade:
   • Conceitual (Fácil): 8 questões testando definições e raciocínio qualitativo.
   • Cálculo Direto (Médio): 7 questões exigindo aplicação de fórmulas.
   • Aplicação de Múltiplas Etapas (Difícil): 10 questões exigindo raciocínio de múltiplas etapas e configuração estratégica.
3. Expansão do Conjunto de Dados: Para avaliar o raciocínio visual e a generalização, dois conjuntos de dados adicionais foram construídos a partir do conjunto apenas de texto:
   • Conjunto de Dados Baseado em Diagramas: As descrições textuais foram convertidas manualmente em diagramas 2D limpos usando o aplicativo Notability.
   • Conjunto de Dados Baseado em Diagramas com Valores Alterados: Os diagramas do conjunto anterior foram modificados com novos valores numéricos para forças, momentos e distâncias para testar se o modelo estava relembrando soluções ou raciando genuinamente.
4. Avaliação: Os modelos (ChatGPT-5 e Gemini) foram testados em todos os três conjuntos de dados. O desempenho foi medido pela precisão ($A = N_c / 25$), definida como o número de questões resolvidas corretamente.

Principais Contribuições

• Estrutura de Avaliação Inovadora: O estudo introduz uma perspectiva de destilação de modelo para avaliar LLMs na educação em engenharia. Em vez de testar modelos em benchmarks externos onde eles podem carecer de exposição, o estudo os avalia em problemas que eles provavelmente geraram ou encontraram durante o treinamento, proporcionando uma visão mais clara de suas capacidades de raciocínio interno.
• Análise Granular de Desempenho: A pesquisa disseca o desempenho do LLM não apenas pelo escore geral, mas por tipo de problema (Conceitual, Cálculo, Múltiplas Etapas) e modalidade de entrada (Texto, Diagrama, Diagrama com Valores Modificados).
• Identificação de Gargalos de Raciocínio: O estudo isola modos de falha específicos, distinguindo entre limitações de reconhecimento de imagem e déficits de raciocínio de múltiplas etapas.

Resultos
Os resultados experimentais destacam uma degradação significativa de desempenho conforme a complexidade do problema e a modalidade mudam:

• Conjunto de Dados Apenas de Texto: O ChatGPT-5 alcançou 100% de precisão, enquanto o Gemini alcançou 60%. Notavelmente, o Gemini não conseguiu resolver nenhum problema de Aplicação de Múltiplas Etapas (0% de precisão).
• Conjunto de Dados Baseado em Diagramas: A precisão do ChatGPT-5 caiu para 68%. Embora tenha mantido 100% de precisão em questões Conceituais, o desempenho caiu para 71,43% em Cálculo Direto e 40% em Aplicação de Múltiplas Etapas.
• Conjunto de Dados Baseado em Diagramas com Valores Alterados: O ChatGPT-5 alcançou 60% de precisão. O desempenho em Aplicação de Múltiplas Etapas melhorou ligeiramente para 60%, mas o Cálculo Direto caiu para 42,8%.
• Análise de Erros: Em todos os testes, ambos os modelos seguiram consistentemente procedimentos e metodologias de solução corretos. No entanto, os erros ocorreram frequentemente nos cálculos numéricos finais ou na aplicação consistente de informações visuais extraídas ao longo de sucessivas etapas de raciocínio.

Significância e Alegações
O artigo alega que o declínio observado no desempenho do LLM ao passar de problemas apenas de texto para problemas baseados em diagramas e de múltiplas etapas não é causado primordialmente por limitações no reconhecimento de imagem. Em vez disso, os autores concluem que a queda de desempenho decorre de dificuldades no raciocínio de múltiplas etapas e na incapacidade de aplicar consistentemente as informações visuais extraídas ao longo do processo de solução.

O estudo sugere que, embora os LLMs possam se aproximar de um desempenho de nível especialista em problemas de estática estruturados e baseados em texto, eles permanecem pouco confiáveis para tarefas de engenharia complexas e de múltiplas etapas que exigem consistência lógica rigorosa. Os autores postulam que este insight é crucial para que educadores e designers de currículos adaptem estratégias de ensino e avaliações, garantindo que promovam a compreensão conceitual e o pensamento de ordem superior, mitigando ao mesmo tempo a dependência inapropriada de ferramentas de IA. O estudo reconhece limitações, incluindo o potencial viés de usar questões geradas pelo próprio modelo para avaliação e o tamanho modesto do conjunto de dados (25 questões), mas afirma que os achados fornecem uma linha de base necessária para compreender as capacidades atuais dos LLMs na educação de engenharia mecânica.