A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models

1. Declaração do Problema

Embora os Modelos de Linguagem (LMs) tenham demonstrado comportamentos semelhantes aos humanos quando seus recursos cognitivos são restritos (por exemplo, ao prever tempos de leitura), permanece incerto se essas restrições alteram suas estratégias de compreensão de frases. Especificamente, os LMs, assim como os humanos, deslocam-se para a inferência racional (priorizando a plausibilidade semântica sobre a estrutura gramatical estrita) sob alta carga cognitiva?

Os métodos existentes para restringir LMs (por exemplo, truncar o comprimento de entrada ou reduzir parâmetros do modelo) sofrem de limitações metodológicas:

• Frequentemente falham em replicar o equilíbrio dinâmico entre armazenamento de memória e processamento que caracteriza a memória de trabalho humana.
• Geralmente comparam diferentes configurações de modelos em vez de observar como um único modelo adapta sua estratégia sob condições variadas.

2. Metodologia

2.1 O Paradigma de Dupla Tarefa

Os autores propõem um novo paradigma experimental inspirado nas tarefas de Span de Operação da psicolinguística humana. Neste arranjo, os LMs devem realizar simultaneamente duas tarefas:

1. Compreensão de Frase: Responder a perguntas de Sim/Não sobre uma frase.
2. Cálculo Aritmético: Resolver problemas aritméticos intercalados dentro da frase.

O formato de entrada intercala palavras e problemas matemáticos (por exemplo, "O 2 coquetel + misturado 3 = ..."). Os modelos são testados sob três condições:

• Tarefa Única: Ler uma frase e responder a uma pergunta (Sem matemática).
• Tarefa Única Ruidosa: Ler uma frase com matemática embutida, mas ignorar a matemática e responder à pergunta.
• Tarefa Dupla: Ler a frase, resolver os problemas matemáticos e, em seguida, responder à pergunta de compreensão.

2.2 Conjunto de Dados e Estímulos

• Fonte: Um subconjunto do conjunto de dados GELP (Asami e Sugawara, 2024).
• Variáveis:
  • Plausibilidade: As frases são Plausíveis (por exemplo, "O barman misturou o coquetel") ou Implausíveis (por exemplo, "O coquetel misturou o barman").
  • Construção: Seis estruturas sintáticas foram testadas (Transitiva, Passiva, Dativa, Sujeito Experienciador, Objeto Experienciador, Beneficiária).
  • Aritmética: Dez tipos de problemas de adição variando em comprimento de dígitos (1, 3, 5, 10, 30 dígitos) e número de adendos (2 ou 3).
• Total de Dados: 2.560 pares de frase-pergunta.

2.3 Modelos e Participantes Humanos

• LMs Avaliados: GPT-4o, o3-mini, o4-mini, GPT-4.1, DeepSeek-V3, Llama-3.3 e Gemma-3.
  • Critérios de Seleção: Os modelos foram filtrados para garantir >70% de precisão em frases implausíveis de Tarefa Única e >80% de precisão em aritmética de 1 dígito na Tarefa Dupla.
• Experimento Humano: 33 falantes nativos de inglês recrutados via Prolific. Eles realizaram as mesmas tarefas (limitadas a aritmética de 1 dígito devido à dificuldade), fornecendo uma linha de base para os efeitos da carga cognitiva humana.

2.4 Métricas de Avaliação

O estudo utiliza uma abordagem de diferença-em-diferenças para medir o "efeito de plausibilidade" (a lacuna de precisão entre frases plausíveis e implausíveis).

• Hipótese: Se um modelo adota inferência racional sob carga, a lacuna de precisão entre frases plausíveis e implausíveis deve alargar-se na Tarefa Dupla em comparação com as tarefas Única/Ruidosa. Isso ocorre porque o modelo falhará mais frequentemente em frases implausíveis (interpretando-as erroneamente como plausíveis) enquanto mantém alta precisão nas plausíveis.

3. Principais Resultados

3.1 Deslocamento para Inferência Racional

• GPT-4o, o3-mini e o4-mini exibiram um deslocamento significativo para a inferência racional sob a condição de Tarefa Dupla.
  • Esses modelos mostraram uma maior lacuna de precisão entre frases plausíveis e implausíveis na Tarefa Dupla em comparação com as tarefas Única/Ruidosa.
  • Especificamente, sua precisão em frases implausíveis caiu significativamente na Tarefa Dupla, enquanto a precisão em frases plausíveis permaneceu alta. Isso indica que eles começaram a interpretar frases implausíveis com base no conhecimento de mundo (por exemplo, tratando "O coquetel misturou o barman" como "O barman misturou o coquetel") em vez da estrutura sintática.
• Outros Modelos (GPT-4.1, DeepSeek-V3, Llama-3.3, Gemma-3): Mostraram precisão reduzida tanto nas tarefas Ruidosa quanto Dupla, mas não apresentaram um aumento distinto na lacuna de plausibilidade, sugerindo que confiaram em modos de falha diferentes ou não deslocaram estratégias tão fortemente.

3.2 Padrões Específicos de Erro

• Vulnerabilidade Sintática: Os modelos mais propensos a erros de inferência racional (GPT-4o, o3-mini, o4-mini) tiveram mais dificuldade com construções Passiva, Dativa e Beneficiária.
  • Raciocínio: Quando palavras funcionais (por exemplo, "por", "para", "para") são ignoradas devido à carga cognitiva, as palavras de conteúdo restantes frequentemente formam uma sequência semanticamente plausível (por exemplo, "barman misturar coquetel"). Os modelos dependem da ordem superficial das palavras e do conhecimento de mundo em vez de palavras funcionais.
• Viés de Acquiescência: Os erros foram mais frequentes quando a resposta correta era "Não". Os modelos tendiam a responder "Sim" (acquiescência), espelhando o viés humano de "dizer sim" sob carga cognitiva.
• Escala de Carga Cognitiva: As taxas de erro aumentaram com a complexidade da aritmética (por exemplo, problemas de 30 dígitos), confirmando que o efeito é impulsionado pelo esgotamento de recursos.

3.3 Comparação Humana

Os participantes humanos mostraram o mesmo padrão: precisão geral mais baixa e uma lacuna de plausibilidade significativamente maior na Tarefa Dupla (diferença de 0,064) em comparação com as tarefas Única (0,025) e Ruidosa (0,035). Isso valida que o comportamento dos LMs espelha as limitações cognitivas humanas.

4. Principais Contribuições

1. Paradigma Novel: Introdução de um Paradigma de Dupla Tarefa que restringe efetivamente o equilíbrio entre armazenamento de memória e processamento em LMs, imitando a memória de trabalho humana com mais precisão do que as restrições anteriores baseadas em comprimento ou parâmetros.
2. Evidência de Inferência Racional: Demonstrou que LMs avançados específicos (GPT-4o, o3-mini, o4-mini) deslocam-se para inferência racional (priorizando plausibilidade sobre sintaxe) quando os recursos cognitivos são sobrecarregados, um comportamento observado anteriormente principalmente em humanos.
3. Identificação de Mecanismo: Identificou que, sob carga, os modelos dependem de sequências superficiais de palavras e conhecimento de mundo, negligenciando palavras funcionais, particularmente em estruturas sintáticas complexas como passivas e dativas.
4. Extensão Teórica: Ampliou a compreensão da compreensão de linguagem semelhante à humana de "custos de leitura" (velocidade de processamento) para "estratégias de leitura" (lógica de interpretação), apoiando a visão de que a alocação de recursos é fundamental para a compreensão semelhante à humana.

5. Significado e Implicações

• Modelagem Cognitiva: O estudo fornece fortes evidências de que os LMs não são apenas correspondentes estatísticos de padrões, mas utilizam mecanismos análogos à memória de trabalho humana. Quando esses recursos são tensionados, eles exibem as mesmas estratégias de processamento "bom o suficiente" que os humanos.
• Segurança e Confiabilidade: As descobertas sugerem que, sob alta carga cognitiva (por exemplo, raciocínio multi-etapa complexo), os LMs podem degradar suas capacidades de processamento sintático, levando a alucinações onde forçam interpretações semanticamente plausíveis, mas factualmente incorretas.
• Pesquisa Futura: O paradigma oferece uma ferramenta robusta para investigar os mecanismos internos dos LMs (por exemplo, mecanismos de atenção como memória de trabalho) e para realizar comparações mais rigorosas entre humanos e LMs.

Conclusão

O artigo conclui que a carga cognitiva induzida por tarefas, e não apenas o comprimento de entrada, é um fator crítico na restrição de LMs. Ao forçar os modelos a equilibrar o armazenamento de memória (resolver matemática) com o processamento (compreender frases), o estudo revela que LMs avançados adotam estratégias de inferência racional semelhantes às humanas, priorizando a plausibilidade semântica quando seus recursos cognitivos são insuficientes para manter uma análise sintática estrita.