Resumo Técnico: Avaliação Causal da Aprendibilidade de Tarefas de Linguagem Formal

Declaração do Problema

Modelos de linguagem (LMs) funcionam como aprendizes multitarefa, adquirindo diversas habilidades a partir de um único corpus de treinamento. Uma questão fundamental para compreender as capacidades dos LMs é determinar quanto dado específico de uma tarefa é necessário para aprendê-la. Em configurações de linguagem natural, essa investigação é confundida pela dificuldade de delinear tarefas específicas e pela presença de similaridades entre tarefas que introduzem confundidores. As práticas padrão de avaliação correlacional — onde se correlaciona a frequência de uma propriedade em um conjunto de dados com o desempenho do modelo — frequentemente geram conclusções falhas porque a frequência da propriedade está emaranhada com outras características estruturais da distribuição dos dados (ex: comprimento da string, complexidade geral).

O artigo argumenta que, para investigar rigorosamente a relação entre a frequência dos dados e a aprendibilidade, é necessário isolar esses confundidores. O uso de corpora de linguagem natural para este propósito é intratável devido à falta de controle sobre a geração de dados. Portanto, os autores propõem um ambiente controlado usando linguagens formais induzidas por Autômatos Finitos Probabilísticos (PFAs) para servir como um banco de testes metodológico.

Metodologia

Estrutura Causal

Os autores formulam o pipeline experimental como um Modelo Causal Gráfico (GCM) envolvendo quatro variáveis aleatórias:

1. A (PFA): O processo gerador (o autômato).
2. D (Dataset): O corpus amostrado de $A$.
3. L (Modelo Aprendido): Os parâmetros da rede neural resultantes do treinamento em $D$.
4. M (Desempenho): A fidelidade de $L$ em relação a $A$.

A distinção central reside entre condicionamento e intervenção:

• Correlacional (Condicionamento): Avaliando $P(M | D \in P)$, onde $P$ é uma propriedade (ex: "o dataset contém $N$ ocorrências de um símbolo"). Isso introduz uma dependência entre $A$ e $D$, pois os PFAs naturalmente propensos a gerar tais datasets estão sobre-representados.
• Causal (Intervenção): Avaliando $P(M | \text{do}(D \in P))$, onde o processo de geração de dados é modificado para satisfazer $P$ enquanto preserva a distribuição marginal original de $A$. Isso desacopla a propriedade alvo das demais características estruturais do corpus.

O Semiring de Binagem (Binning Semiring)

Para implementar a intervenção causal de forma eficiente, o artigo introduz o semiring de binagem, uma estrutura algébrica que permite o controle das contagens de propriedades alvo durante a amostragem.

• Definição: Para um semiring base $K$ e um limiar $R$, o semiring de binagem de ordem $R$ consiste em tuplas de $(R+1)$ elementos $v = (v_0, v_1, \dots, v_R)$.
• Operação: A adição é elemento a elemento. A multiplicação é uma convolução de acúmulo de overflow: o $n$-ésimo elemento do produto representa o peso de caminhos com exatamente $n$ ocorrências do alvo (para $n < R$), enquanto o elemento $R$ agrega todos os contagens $\ge R$.
• Aplicação: Um PFA é "elevado" para um Autômato Finito Pesado (WFA) sobre este semiring. Ao computar os pesos retroativos neste autômato elevado, os autores derivam a distribuição condicional sobre corpora com uma contagem específica de transições alvo. Isso permite a amostragem restrita: desenhar datasets onde uma propriedade específica (ex: uma transição ou símbolo) ocorre exatamente $N$ vezes, independentemente do viés natural do PFA subjacente.

Pipeline Experimental

1. Amostragem: Gerar PFAs (seja com topologias fixas com pesos reamostrados ou topologias aleatórias).
2. Intervenção: Usar os algoritmos do semiring de binagem para amostrar corpora com contagens exatas de uma propriedade alvo (ex: transições que deixam um estado específico).
3. Treinamento: Treinar LSTMs e Transformers nestes corpora.
4. Avaliação: Medir o desempenho usando uma divergência de Kullback–Leibler (KL) decomposta. Diferente da KL padrão, que faz a média sobre todos os estados, esta métrica isola a contribuição de erro de transições ou estados específicos, permitindo uma avaliação localizada da aprendibilidade.

Principais Contribuições

1. Semiring de Binagem: Uma ferramenta algébrica inovadora que permite o controle exato sobre a frequência de características específicas em corpora amostrados de PFAs, facilitando intervenções causais que eram anteriormente intratáveis computacionalmente (comparado à amostragem por rejeição).
2. Estrutura de Avaliação Causal: Uma formalização de estudos de aprendibilidade de LMs como um problema de inferência causal, distinguindo observações correlacionais de efeitos causais da frequência de dados.
3. Métricas de KL Decomposta: Um método para localizar métricas de desempenho a sub-tarefas específicas (estados, transições ou símbolos) dentro do ambiente de linguagem formal.
4. Evidência Empírica de Confundimento: Demonstrações de que avaliações correlacionais padrão podem levar a conclusões incorretas sobre a aprendibilidade devido a confundidores não controlados.

Resultados

Os autores conduziram experimentos em três configurações:

1. PARITY + Autômato Star-Free: Uma configuração controlada combinando uma linguagem star-free de fácil aprendizagem ($aa^*$) e uma linguagem PARITY de difícil aprendizagem.
   • Achado: Na análise correlacional, baixas contagens de strings PARITY foram associadas a alto erro, mas essa tendência era não-monotônica e confundida pela distribuição de comprimento das strings. A intervenção causal revelou uma relação monotônica, onde o aumento nas contagens de PARITY consistentemente melhorou a aprendibilidade, expondo a real dificuldade da tarefa para Transformers versus LSTMs.
2. Topologias Aleatórias (50 estados): Amostragem de 952 PFAs aleatórios.
   • Achado: Tendências correlacionais frequentemente se inverteram em relação às tendências causais. Por exemplo, em contagens de ocorrência baixas, a divergência KL correlacional era baixa (sugerindo aprendizagem fácil) porque os autômatos específicos que naturalmente produzem poucos casos alvo eram estruturalmente mais simples. A amostragem causal removeu esse viés, mostrando que a aprendibilidade na verdade melhorava com a frequência.
3. Topologia Fixa, Pesos Variáveis: Uma única topologia de 40 estados com 400 configurações de pesos.
   • Achado: Os efeitos de confundimento variaram significativamente mesmo dentro da mesma topologia. Em certos estados, a curva causal desceu bruscamente com o aumento da frequência, enquanto a curva correlacional permaneceu plana ou subiu, indicando que a "dificuldade" observada em estudos correlacionais era um artefato das configurações de pesos específicas, e não da tarefa em si.

Em todas as configurações, as curvas causais (linhas sólidas) divergiram significamente das curvas correlacionais (linhas pontilhadas). Em alguns casos, a tendência correlacional sugeriu que uma propriedade era fácil de aprender quando era, na verdade, difícil, ou vice-versa.

Significância e Alegações

O artigo afirma que as metodologias correlacionais padrão para avaliar a aprendibilidade de linguagens formais são inerentemente falhas porque não controlam confundidores inter-tarefas. A relação observada entre a frequência dos dados e o desempenho do modelo frequentemente reflete o procedimento de amostragem e as propriedades estruturais dos autômatos que co-variam com a propriedade alvo.

Ao introduzir a intervenção causal via semiring de binagem, os autores fornecem uma ferramenta para desmembrar esses efeitos. Eles argumentam que esta abordagem é necessária para:

• Comparar com precisão os vieses indutivos de diferentes arquiteturas (ex: Transformers vs. RNNs).
• Caracterizar comportamentos de escala sem o ruído de características estruturais de confusão.
• Atribuir dificuldade a características estruturais específicas em vez de artefatos da distribuição de dados.

Os autores posicionam este trabalho como uma correção metodológica para o campo, sugerindo que achados correlacionais anteriores sobre como as propriedades da linguagem afetam a aprendibilidade podem exigir revisão. Eles observam que, embora seu estudo foque em PFAs, o framework estende-se naturalmente para autômatos mais ricos (ex: autômatos de pilha) e oferece uma alternativa rigorosa para a avaliação de "caixa preta" de modelos de linguagem neurais em tarefas formais.