Resumo Técnico: Repensando a Hipótese da Decomponibilidade Idiomática

Problema

O artigo aborda o debate de longa data sobre a natureza das expressões idiomáticas, especificamente a tensão entre a Hipótese da Decomponibilidade de Idiomas (IDH) e as explicações baseadas no uso. A IDH postula que os idiomas variam em decomponibilidade semântica (o grau em que os significados constituintes contribuem para o todo figurativo) e que essa propriedade prevê a flexibilidade sintática (ex.: a capacidade de sofrer passivização ou modificação). Por outro lado, teorias baseadas no uso argumentam que o comportamento idiomático surge da experiência distributiva, como frequência, previsibilidade e familiaridade, em vez de uma estrutura semântica interna.

Uma limitação crítica para resolver este debate é a dependência de avaliações humanas de decomponibilidade. Esses julgamentos são conhecidos por serem graduais, dependentes da tarefa e sujeitos à variabilidade inter-falante, tornando difícil isolar se o comportamento idiomático decorre da estrutura semântica ou puramente da exposição distributiva. Os autores propõem o uso de modelos de linguagem contextualizados como aprendizes distributivos controlados para investigar essas relações. Ao treinar modelos em grandes corpora de texto sem acesso explícito a estruturas de papéis semânticos ou julgamentos de aceitabilidade, o estudo visa determinar quais aspectos do comportamento idiomático podem ser aprendidos apenas através da exposição distributiva.

Metodologia

1. Operacionalização da Decomponibilidade

Os autores propõem uma medida de decomponibilidade interna ao modelo fundamentada em três estipulações teóricas: alinhamento semântico, significado distribuído e a natureza gradual da propriedade.

• Alinhamento Semântico: Eles definem a decomponibilidade como o grau de alinhamento semântico entre um idioma no contexto e sua glosa figurativa (uma paráfrase que expressa o significado pretendido).
• Contribuição ao Nível de Token: Utilizando um codificador transformer bidirecional (ex.: BERT-base/large, ModernBERT e OLMo-2/3), eles computam uma representação de nível de sentença $e(s)$ para um idioma no contexto e $e(s_g)$ para a sentença com a glosa.
• Análise de Perturbação: Para estimar a contribuição de constituintes individuais, eles empregam uma estratégia de mascaramento de "deixar um fora" (leave-one-out). Para cada token $j$ no idioma, eles o mascaram para criar $s_{(-j)}$ e computam a similaridade entre a representação mascarada e a representação da glosa.
• Pontuação: A contribuição do token $j$ ($\Delta_j$) é definida como a mudança absoluta na similaridade quando o token é mascarado: $\Delta_j = |S_{fig} - S^{(j)}_{mask}|$.
• Agregação: Pontuações de decomponibilidade de nível de expressão são derivadas agregando as contribuições de nível de token usando média, máximo, dispersão de Gini ou entropia.

2. Operacionalização da Flexibilidade Sintática

A flexibilidade sintática é quantificada como a entropia de Shannon da distribuição de um idioma através de tipos construcionais (forma base, inserção de advérbio, inserção de adjetivo, passivização e nominalização de ação). Uma entropia mais alta indica maior flexibilidade.

3. Configuração Experimental

• Modelos: O estudo utiliza modelos transformer bidirecionais (BERT-base/large, ModernBERT e OLMo-2/3) para garantir que o contexto seja codificado de ambos os lados do idioma.
• Datasets: Os experimentos baseiam-se no dataset IMPLI (sentenças figurativas pareadas com paráfrases com glosa) e no dataset de Bulkes e Tanner (avaliações humanas de decomponibilidade).
• Dinâmica de Treinamento: Para analisar o aprendizado ao longo do tempo, os autores rastreiam as representações através de 100 checkpoints durante o pré-treinamento dos modelos OLMo-2 e OLMo-3 (modelos de 7B). Eles examinam a interação entre as etapas de treinamento e as propriedades do idioma: frequência, surprisal (previsibilidade) e decomponibilidade.

Principais Resultados

1. Alinhamento com Julgamentos Humanos

As pontuações de decomponibilidade derivadas do modelo exibem apenas uma correlação positiva fraca com as avaliações de decomponibilidade humana (ex.: $r \approx 0,24$ para o BERT-large). Embora estatisticamente significativas, o tamanho do efeito sugere que os modelos capturam apenas uma sobreposição parcial com as intuições humanas, indicando que as duas operacionalizações refletem propriedades distintas.

2. Decomponibilidade vs. Flexibilidade Sintática

Contrariando a IDH, o estudo não encontra uma relação positiva sistemática entre a decomponibilidade derivada do modelo e a flexibilidade sintática.

• Através de modelos e camadas, as correlações são consistentemente pequenas e frequentemente negativas (máximo de $r \approx -0,16$).
• Essa relação negativa é mais pronunciada para idiomas de frase preposicional (PP), onde uma maior decomponibilidade correlaciona-se com uma redução na flexibilidade. Isso é atribuído à rigidez morfossintática das construções de PP, em vez de fatores semânticos.
• Crucialmente, para idiomas de frase verbal (VP) — o domínio principal onde a IDH deveria se sustentar — nenhuma relação significativa foi encontrada.

3. Fatores Baseados no Uso

• Frequência: Existe uma relação negativa robusta entre frequência e decomponibilidade. Idiomas mais frequentes são julgados (por humanos) e representados (por modelos) como menos decomponíveis, apoiando a visão de que idiomas de alta frequência são armazenados como unidades holísticas.
• Previsibilidade: O surprisal (previsibilidade) e a frequência ambos contribuem para a estabilização das representações idiomáticas durante o pré-treinamento.

4. Dinâmica de Treinamento

A análise dos checkpoints de pré-treinamento revela que a emergência e estabilização das representações idiomáticas são impulsionadas pelo surprisal e pela decomponibilidade, não apenas pela frequência.

• Os efeitos de interação entre as etapas de treinamento e as propriedades do idioma mostram que a influência da decomponibilidade, do surprisal e da frequência diminui conforme o treinamento progride.
• A decomponibilidade apresenta o efeito dependente do treinamento mais forte, indicando que ela desempenha um papel proeminente na moldagem das representações precocemente no treinamento, em relação à frequência e ao surprisal.

Significância e Alegações

O artigo afirma oferecer um "desafio claro" à IDH ao demonstrar que a decomponibilidade não é uma explicação confiável e neutra em termos de mecanismo para a flexibilidade sintática. A ausência de um vínculo positivo entre decomponibilidade e flexibilidade, mesmo no domínio teoricamente mais relevante (idiomas VP), sugere que o comportamento sintático não pode ser explicado unicamente pela estrutura semântica interna.

Em vez disso, os autores argumentam que a previsibilidade distributiva (surprisal) e a frequência desempenham papéis dominantes. O estudo destaca que:

1. A frequência sozinha é insuficiente para explicar a emergência de representações idiomáticas; o surprisal e a decomponibilidade são necessários para explicar a dinâmica de estabilização.
2. Medidas internas do modelo fornecem uma forma fundamentada de desvendar fatores confundidos em julgamentos humanos, isolando o que é aprendido apenas através da exposição.
3. A correlação negativa entre frequência e decomponibilidade apoia as explicações baseadas no uso, onde idiomas frequentes são tratados como unidades holísticas e não decomponíveis.

Os autores concluem que investigar as representações internas permite distinguir entre propriedades inerentes à estrutura semântica e aquelas que emergem naturalmente do aprendizado distributivo, ajudando assim a resolver fatores confundidos na teoria linguística.

Limitações

Os autores reconhecem diversas limitações:

• A métrica de decomponibilidade proposta é uma de várias possíveis operacionalizações.
• A análise de pré-treinamento baseia-se em pontuações de decomponibilidade derivadas do BERT para prever a dinâmica no OLMo, o que pode introduzir vieses específicos de arquitetura.
• O estudo é limitado a idiomas de língua inglesa e pode não se generalizar para outras línguas.