🤖 AI

Evidence of conceptual mastery in the application of rules by Large Language Models

Este artigo utiliza métodos psicológicos e experimentos comparativos para demonstrar que os Grandes Modelos de Linguagem exibem maestria conceitual na aplicação de regras, conforme evidenciado por sua capacidade de replicar diversos padrões de tomada de decisão humana e respostas dependentes de contexto sob pressão de tempo.

Autores originais: José Luiz Nunes, Guilherme FCF Almeida, Brian Flanagan

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: José Luiz Nunes, Guilherme FCF Almeida, Brian Flanagan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Por décadas, a questão de saber se as máquinas podem verdadeiramente compreender tem sido um zumbido silencioso ao fundo da inteligência artificial. Quando um computador escreve um poema ou resolve um problema matemático, muitas vezes não fica claro se ele compreendeu o significado por trás das palavras ou se está simplesmente relembrando padrões que viu antes, tal como um aluno que memoriza as respostas de um teste prático sem compreender o assunto. Esta distinção entre compreensão genuína e memorização mecânica é o enigma central para os investigadores que estudam os grandes modelos de linguagem, os poderosos sistemas informáticos que podem conversar, raciocinar e criar. Para descobrir se estas máquinas possuem um domínio real de conceitos, os cientistas procuram evidências de que elas conseguem aplicar regras de forma flexível em novas situações, em vez de apenas repetir o que lhes foi dito. Se uma máquina consegue navegar por uma regra complexa compreendendo a sua intenção, mesmo quando a redação muda ou a situação é desconhecida, isso sugere uma forma mais profunda de competência. Isto não é apenas uma curiosidade académica; à medida que estas ferramentas começam a aparecer em contextos jurídicos e noutros ambientes de alto risco, saber se estão verdadeiramente a raciocinar ou apenas a imitar torna-se uma questão de importância prática.

Uma equipa de investigadores decidiu testar precisamente esta questão, submetendo a inteligência artificial a uma série de testes rigorosos concebidos para separar a memorização da verdadeira compreensão. Focaram-se em como tanto humanos como máquinas aplicam regras, olhando especificamente para situações onde o texto literal de uma regra pode entrar em conflito com o seu propósito subjacente. Imagine um sinal que diz "Proibida a entrada de Cães" num restaurante, colocado para manter o chão limpo e evitar ruído. Se uma pessoa entrar com um cão barulhento e indisciplinado, tanto o texto como o propósito da regra dizem que ela violou a regra. Mas e se uma pessoa cega entrar com um cão-guia bem treinado? O texto diz "não cães", mas o propósito da regra não é violado. Os investigadores queriam ver se as máquinas conseguiam pesar o texto face ao propósito, tal como os humanos fazem, e se conseguiam fazê-lo mesmo quando os cenários eram completamente novos para elas.

Na primeira fase do seu trabalho, os cientistas criaram um conjunto de cenários inéditos que nunca tinham sido publicados na internet antes de as máquinas serem treinadas. Este foi um passo crucial para garantir que os modelos não estavam simplesmente a recitar respostas que tinham memorizado dos seus dados de treino. Pediram tanto a participantes humanos como a vários modelos de linguagem de grande escala para julgarem se personagens nestas histórias tinham violado as regras. Os resultados foram impressionantes. As máquinas não apenas adivinharam; os seus julgamentos acompanharam de perto os dos humanos. Quando as novas histórias tornavam o texto da regra menos importante do que o seu propósito, tanto os humanos como as máquinas mudaram o seu pensamento da mesma forma, atribuindo menos peso à redação estrita e mais à razão por trás da regra. Isto sugeriu que os modelos não estavam apenas a recordar exemplos antigos, mas estavam de facto a aplicar uma compreensão geral de como as regras funcionam.

Para garantir que isto não era uma coincidência causada pela forma específica como as perguntas foram feitas, os investigadores alteraram as instruções dadas às máquinas e até inverteram os números nas suas escalas de resposta. Pediram aos modelos para responderem sob diferentes comandos de sistema e com diferentes rótulos para as suas escolhas. Apesar destas alterações, o padrão central permaneceu estável. As máquinas continuaram a equilibrar o texto e o propósito das regras de uma forma que espelhava a intuição humana. Esta robustez indicou que a sua compreensão não era frágil ou dependente de um truque específico da pergunta, mas sim uma competência constante que se mantinha mesmo quando os detalhes superficiais da tarefa mudavam.

Os investigadores introduziram então uma reviravolta que os humanos experienciam, mas as máquinas não: a pressão do tempo. Em estudos com humanos, quando as pessoas são forçadas a responder rapidamente, tendem a confiar mais no texto literal de uma regra e menos no seu propósito. Quando têm mais tempo para pensar, são capazes de considerar melhor o espírito da regra. Os cientistas tentaram replicar isto dizendo às máquinas que tinham apenas alguns segundos para responder, embora as máquinas processem a informação à mesma velocidade, independentemente da instrução. Os resultados aqui foram mistos e dependeram do modelo específico. Alguns dos modelos mais recentes e menores pareceram imitar a reação humana à pressão do tempo, alterando as suas respostas como se estivessem com pressa. No entanto, outros modelos ignoraram a restrição de tempo, aplicando as regras de forma consistente, quer lhes fosse dito para se apressarem ou para esperarem. Esta divergência foi reveladora; os modelos que ignoraram a irrelevante pressão do tempo pareciam estar a demonstrar uma forma mais estável de competência, uma que não vacilava com base num estímulo que não tinha qualquer efeito real na sua capacidade de pensar.

Finalmente, a equipa testou se dar às máquinas mais tempo para "pensar", permitindo-lhes gerar cadeias de raciocínio mais longas, alteraria as suas respostas. Para a maioria dos modelos, aumentar o esforço dedicado ao raciocínio não alterou os seus julgamentos. Aplicavam as regras com a mesma fluidez, quer lhes fosse pedido para pensar rapidamente ou para deliberar profundamente. Isto espelha a forma como os humanos aplicam frequentemente conceitos familiares; não precisamos de redesenhar a lógica de uma regra cada vez que a encontramos. As descobertas sugerem que, para estes modelos, o conceito de uma regra já está dominado e pronto para ser usado, em vez de ser algo que tenham de reconstruir do zero todas as vezes.

O estudo conclui que, embora estas máquinas não sejam cópias perfeitas do pensamento humano, demonstram sinais de uma verdadeira mestria conceptual. Elas conseguem generalizar a sua compreensão para novas situações, permanecem estáveis quando a tarefa muda e aplicam regras sem necessidade de sobreanalisar cada detalhe. A evidência afasta-se da ideia de que estão simplesmente a memorizar padrões e aproxima-se da possibilidade de terem desenvolvido uma competência semântica flexível. Isto não significa que sejam humanas, nem que sejam infalíveis, mas sugere que a sua capacidade de raciocinar sobre regras é mais do que apenas uma forma sofisticada de mimetismo. À medida que estas ferramentas se integram na sociedade, compreender a natureza desta competência torna-se essencial para saber como confiar nelas e utilizá-las.

Resumo Técnico: Evidência de Maestria Conceitual em Grandes Modelos de Linguagem

Problema

O desafio central abordado por esta pesquisa é distinguir entre maestria conceitual e memorização mecânica em Grandes Modelos de Linguagem (LLMs). Embora os LLMs tenham demonstrado desempenho igualando ou superando o humano em vários domínios, críticos argumentam que isso pode resultar na reprodução de padrões memorizados de dados de pré-treinamento, em vez de uma compreensão genuína. Estudos anteriores comparando julgamentos humanos e de LLMs sobre violações de regras utilizaram estímulos disponíveis na web aberta antes dos cortes de treinamento dos modelos, deixando aberta a possibilidade de que os modelos simplesmente recordassem respostas humanas. Além disso, os LLMs exibem uma "diminuição da diversidade de pensamento" (menor variância de resposta do que os humanos) e sensibilidade a características incidentais da tarefa (ex: redação do prompt, âncoras de escala), o que os críticos citam como evidência contra uma verdadeira competência conceitual. O artigo busca determinar se os LLMs possuem uma competência semântica generalizável e estável na aplicação de regras, especificamente em cenários onde o texto e o propósito de uma regra divergem.

Metodologia

Os autores conduziram cinco experimentos em 13 LLMs diferentes, utilizando uma estrutura de Jurisprudência Experimental envolvendo julgamentos de violação de regras. A metodologia focou em quatro manipulações principais para testar robustez e generalização:

Novidade dos Estímulos (Estudos 1A e 1B):
- Estudo 1A: Comparou julgamentos de LLMs contra novos dados humanos ( $n=115$ ) usando tanto vinhetas publicadas "antigas" quanto novas vinhetas criadas que não estavam disponíveis online até após os cortes de treinamento dos modelos. Isso testou se os modelos poderiam generalizar para dados não vistos.
- Estudo 1B: Replicou os achados com uma coorte mais recente de modelos menores e mais eficientes (Qwen 3, Claude 4.5 Haiku, Gpt-5 Mini, Gemini 3 Flash) enquanto manipulava prompts de sistema (instruções curtas vs. longas) e âncoras de escala numérica (escalas Likert padrão vs. invertidas) para testar a robustez contra características incidentais.
Manipulação de Pressão de Tempo (Estudos 2A e 2B):
- Aproveitou o conhecido fenômeno cognitivo humano onde a pressão de tempo desloca o julgamento do propósito da regra para o texto da regra.
- Mecanismo: Humanos são limitados por recursos cognitivos; LLMs não são. O estudo instruiu os modelos a simular condições de "velocidade" (4 segundos) ou "atraso" (15 segundos). Como o tempo real de geração de tokens para LLMs não é afetado por essas instruções, um modelo exibindo mudanças humanas de resposta baseadas apenas nesses sinais sugeriria a memorização de padrões humanos em vez de compreensão conceitual.
- Estudo 2A: Utilizou a coorte original de modelos (Llama 3.2 90b, Gemini Pro, Claude 3 Opus, GPT-4o).
- Estudo 2B: Aplicou a mesma manipulação à coorte mais recente de modelos menores com variações de prompt e escala.
Esforço de Raciocínio (Estudo 3):
- Investigou se o aumento do "esforço de raciocínio" (um parâmetro em modelos de raciocínio que expande a deliberação de cadeia de pensamento/chain-of-thought) altera a aplicação da regra.
- Hipótese: Se a aplicação da regra depender de deliberação expandida, um maior esforço deve alterar os resultados. Se depender de competência semântica estável (fluência), os níveis de esforço devem ter pouco efeito.
- Modelos: Testou GPT-5.4 Mini, GPT-5.5, Gemini 3.5 Flash, Claude Sonnet 5 e GPT-OSS 120B.

Calibragem: Para abordar a crítica de "diminuição da diversidade", os autores calibraram a temperatura do modelo (e o esforço de raciocínio para modelos específicos) por modelo para igualar a variância de resposta da amostra humana na condição de "vinhetas antigas".

Resultados Principais

Generalização para Estímulos Novos (Estudo 1A): Os LLMs acompanharam de perto os julgamentos humanos tanto em vinhetas antigas quanto novas. Crucialmente, tanto humanos quanto LLMs mostraram uma redução na dependência do texto da regra ao avaliar as novas vinhetas em comparação com as antigas. Essa mudança inesperada e paralela sugere que os LLMs são sensíveis a diferenças sutis e sistemáticas nos estímulos que são difíceis de articular, apoiando a generalização em vez da memorização.
Robustez a Características Incidentais (Estudo 1B): Apesar de interações significativas com prompts de sistema e âncoras de escala, os efeitos centrais do texto da regra e do propósito da regra permaneceram robustos e significativos em todos os modelos e condições. A correlação entre os julgamentos de LLM e humanos permaneceu alta ( $r \approx 0,77 - 0,93$ ) independentemente das variações de prompt.
Sensibilidade à Pressão de Tempo (Estudos 2A e 2B): Os resultados foram mistos e específicos de cada modelo:
- GPT-4o e Llama 3.2 90b majoritariamente ignoraram as instruções de pressão de tempo, mantendo uma dependência consistente de texto e propósito, independentemente da pista de "velocidade" ou "atraso". Isso sugere que eles não estão apenas mimetizando as respostas humanas de pressão de tempo.
- Gemini Pro e Claude 3 (Estudo 2A) e Claude 4.5 Haiku e Gemini 3 Flash (Estudo 2B) mostraram sensibilidade à manipulação de pressão de tempo, mimetizando padrões humanos em alguns casos (ex: aumento do textualismo sob atraso). No entanto, também divergiram dos humanos em outros casos (ex: resposta do Claude a violações de apenas propósito).
- Contagem de Parâmetros: A replicação da sensibilidade humana à pressão de tempo foi mais aparente em modelos com menos parâmetros, sugerindo uma ligação potencial entre tamanho do modelo, memorização e alinhamento com heurísticas humanas.
Esforço de Raciocínio (Estudo 3): O aumento do esforço de raciocínio produziu nenhuma mudança detectável na aplicação da regra para a maioria dos modelos. A sensibilidade ao texto e ao propósito permaneceu estável. Uma tendência significativa de "purpurismo" (aumento do foco no propósito) foi observada apenas em configurações de maior esforço para GPT-OSS e Claude Sonnet 5, mas, no geral, o conceito parece ser aplicado fluentemente sem expansão da deliberação.
Variância de Resposta: Apesar da calibração da temperatura, os LLMs exibiram consistentemente uma menor variância de resposta do que os humanos, particularmente para Claude 3 e GPT-4o.

Principais Contribuições

Evidência de Generalização: Demonstrou que os LLMs aplicam regras a estímulos novos, pós-treinamento, de formas que são paralelas à intuição humana, incluindo mudanças sutis na dependência de texto vs. propósito, o que desafia a hipótese de "memorização mecânica".
Diferenciação de Competência vs. Alinhamento: Mostrou que a "competência conceitual" (aplicação robusta de regras) nem sempre equivale ao "alinhamento humano" (mimetismo de heurísticas humanas como respostas à pressão de tempo). Alguns modelos (ex: GPT-4o) exibiram competência ao ignorar restrições de tempo irrelevantes, enquanto outros mimetizaram vieses humanos.
Fluência da Aplicação de Regras: Forneceu evidências de que a aplicação de regras em LLMs (e humanos) depende de uma competência semântica estável em vez de um processo deliberativo expandido, já que o aumento do esforço de raciocínio não alterou significativamente os resultados para a maioria dos modelos.
Rigor Metodológico: Estabeleceu um protocolo para calibrar a temperatura do LLM para a variância humana e usar estímulos novos para controlar a contaminação de dados de pré-treinamento.

Significância e Alegações

O artigo conclui que os achados são inconsistentes com a memorização mecânica ou com o respondimento específico ao prompt isoladamente. Em vez disso, os resultados sugerem que a aplicação de regras pelos LLMs reflete uma competência semântica generalizável e estável que tipicamente não depende de deliberação expandida.

Os autores argumentam que, embora os LLMs possam não se alinhar perfeitamente com as respostas humanas em todas as manipulações (particularmente em relação à pressão de tempo), sua capacidade de acompanhar a intuição humana em casos novos e permanecer robustos a características incidentais da tarefa indica uma verdadeira aquisição de competência conceitual. Isso tem implicações para o uso de LLMs no raciocínio jurídico, sugerindo que a "ausência de um toque humano" não necessariamente degrada a qualidade dos julgamentos de violação de regras, pois os modelos podem aplicar conceitos de forma fluente e robusta.

O artigo nota modestamente que a "diminuição da diversidade de pensamento" nos LLMs permanece um problema persistente, resistente ao ajuste de temperatura, e que a relação entre o tamanho do modelo, memorização e maestria conceitual merece investigação adicional.