Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
Este estudo exploratório compara um classificador simbólico baseado em regras e um Modelo de Linguagem de Grande Escala na análise morfológica do sânscrito utilizando dados da Bhagavad Gita, constatando que ambas as abordagens mantêm uma compatibilidade estável sob a permutação da ordem das palavras, com o LLM alcançando uma precisão ligeiramente superior (86,43%) ao sistema simbólico (81,43%).
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A linguagem é frequentemente vista como um fluxo de palavras fluindo em uma ordem específica, onde a posição de uma palavra determina seu significado. Em muitas línguas, mudar a ordem das palavras altera a frase inteira. No entanto, o sânscrito, uma antiga língua da Índia, opera de forma diferente. É construído sobre um sistema de terminações anexadas às palavras, muito parecido com etiquetas que dizem quem está fazendo o quê a quem, independentemente de onde a palavra esteja na frase. Essa flexibilidade permite que os falantes reorganizem as palavras para ênfase ou efeito poético sem perder a lógica gramatical. Por séculos, estudiosos confiaram em regras escritas estritas para decodificar essas terminações, um método conhecido como lógica baseada em regras. Hoje, um novo tipo de ferramenta surgiu: os grandes modelos de linguagem. Estes são sistemas de computador treinados em vastas quantidades de texto que preveem a próxima palavra ou o significado de uma palavra com base em padrões que aprenderam, em vez de seguir um conjunto fixo de instruções. A questão que os pesquisadores têm feito é como esses dois abordagens muito diferentes lidam com o desafio único do sânscrito quando a ordem das palavras é embaralhada.
Um estudo recente propôs-se a testar isso, colocando um programa de computador tradicional baseado em regras contra um sistema moderno de inteligência artificial. Os pesquisadores utilizaram uma coleção de cem versos do Bhagavad Gita, um texto sagrado hindu. Eles pegaram as palavras desses versos e criaram duas versões do texto para cada verso. Na primeira versão, as palavras apareciam em sua ordem natural, original. Na segunda versão, as mesmas palavras foram misturadas, ou embaralhadas, de modo que a sequência era completamente diferente, embora a coleção de palavras permanecesse exatamente a mesma. O objetivo era ver se os sistemas de computador ainda conseguiriam identificar corretamente a função gramatical de cada palavra — como se uma palavra era o sujeito, o objeto ou um verbo — quando o contexto de sua posição fosse removido.
O estudo focou em uma tarefa específica: observar palavras individuais que já haviam sido separadas das frases e pedir aos sistemas para rotulá-las. Os pesquisadores usaram um programa em Python que seguia regras explícitas e passo a passo para verificar as terminações das palavras. Se uma palavra terminasse de uma forma específica, o programa atribuía um rótulo baseado em uma lista pré-escrita de possibilidades. Este sistema não observa as palavras ao redor ou a estrutura da frase; ele apenas olha para a própria palavra. Do outro lado, os pesquisadores usaram arquivos de predição gerados pelo Gemini, um grande modelo de linguagem. Esses arquivos continham os palpites do modelo para os rótulos gramaticais das mesmas palavras, baseados em comandos que pediam para ele focar em terminações de palavras em vez de tradução ou contexto.
Quando os pesquisadores compararam os resultados, encontraram algo impressionante. O programa baseado em regras teve o mesmo desempenho na ordem natural e na ordem embaralhada. Isso era esperado, pois o programa foi projetado para ignorar a ordem das palavras inteiramente; ele simplesmente verificava a palavra que lhe era dada contra sua lista de regras. No entanto, o grande modelo de linguagem também mostrou uma estabilidade notável. Mesmo quando as palavras foram embaralhadas, as previsões do modelo para os rótulos gramaticais não mudaram de forma significativa. De 280 palavras específicas que foram verificadas contra um guia de referência, o modelo identificou corretamente a categoria gramatical em 86,43 por cento dos casos, fosse nas palavras em sua ordem original ou misturadas. O sistema baseado em regras foi ligeiramente menos preciso, acertando 81,43 por cento, mas foi igualmente consistente em ambas as versões do texto.
Os pesquisadores foram cuidadosos ao notar que essa estabilidade não significa que o grande modelo de linguagem esteja ignorando a ordem das palavras ou que tenha aprendido as regras da gramática do sânscrito da mesma forma que um estudioso humano faz. O estudo não provou que o modelo trabalha sem contexto, nem mostrou que ele poderia lidar com um conjunto completamente novo de palavras que nunca tinha visto antes. Os resultados mostraram apenas que, para este conjunto específico de palavras, a saída do modelo permaneceu constante mesmo quando a entrada foi embaralhada. É possível que o modelo tenha reconhecido as palavras de seus dados de treinamento ou que os comandos específicos usados tenham desencorajado o uso de contexto. O estudo também destacou que o guia de referência usado para verificar as respostas não era perfeito; continha algumas ambiguidades e não foi revisado por múltiplos especialistas, o que significa que as pontuações são uma medida de compatibilidade com o guia fornecido, e não a verdade absoluta.
O que esta pesquisa revela, em última análise, é um instantâneo de como essas duas tecnologias diferentes se comportam sob um teste específico. O sistema baseado em regras comportou-se exatamente como seu design pretendia, permanecendo inalterado porque foi construído para ser cego à ordem das palavras. O grande modelo de linguagem, que é frequentemente pensado como dependente fortemente da sequência de palavras para entender o significado, também produziu os mesmos resultados quando a sequência foi quebrada. Isso sugere que, para esta tarefa específica, as previsões do modelo foram robustas contra o embaralhamento da entrada. No entanto, o autor alerta que isso não significa que o modelo tenha dominado o sânscrito ou que se comportará desta forma em todas as situações. O estudo serve como um registro claro do que aconteceu com esses arquivos específicos e esses comandos específicos, mostrando que, nesta comparação registrada, a ordem das palavras não mudou o resultado. Isso deixa aberta a questão de se essa estabilidade se mantém para frases mais complexas, modelos diferentes ou textos que não faziam parte dos dados de treinamento, apontando para a necessidade de mais testes com padrões mais rigorosos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.