🤖 machine learning

The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models

Este artigo identifica e analisa a lacuna de expressividade entre Circuitos Probabilísticos e Modelos de Linguagem de Grande Porte na modelagem de linguagem autoregressiva, revelando que, embora a parametrização no espaço de logits e arquiteturas decomponíveis possam mitigar gargalos específicos, a estrutura de roteamento fixa de PCs estruturalmente decomponíveis limita fundamentalmente sua capacidade de modelar topologias de dependência heterogêneas em comparação com Transformers.

Autores originais: Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

Publicado 2026-05-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar dois tipos diferentes de robôs a prever a próxima palavra em uma frase. Um robô é um Modelo de Linguagem de Grande Escala (LLM), como os que alimentam os chatbots modernos. O outro é um Circuito Probabilístico (CP), um tipo de modelo conhecido por ser matematicamente "honesto" e capaz de calcular probabilidades exatas sem adivinhar.

Por muito tempo, o robô LLM tem vencido em tarefas de linguagem, enquanto o robô CP tem lutado. Este artigo pergunta: Por que o robô CP é tão pior em linguagem, mesmo sendo teoricamente muito poderoso?

Os autores descobriram que o robô CP não está falhando porque é "burro". Ele está falhando por causa de dois gargalos específicos (engarrafamentos) na forma como ele pensa e fala.

1. O "Gargalo de Saída": A Misturadora de Tintas vs. A Impressora a Laser

Pense no LLM como uma Impressora a Laser. Quando ele decide qual palavra dizer a seguir, ele dispara uma lista de "pontuações" (logits) para cada palavra possível no dicionário. Ele não se importa se as pontuações são números estranhos; ele apenas as imprime, e um filtro final (Softmax) as transforma em uma imagem nítida e clara, onde uma palavra se destaca brilhantemente e as demais desaparecem. Isso é perfeito para a linguagem, onde o contexto geralmente aponta para uma palavra muito específica.

O robô CP, no entanto, age como uma Misturadora de Tintas. Ele tenta criar a próxima palavra misturando algumas "cores base" pré-fabricadas (distribuições de probabilidade).

O Problema: Se você precisa de uma cor muito nítida e específica (como um vermelho brilhante que representa uma única palavra), misturar algumas tintas base em um balde frequentemente resulta em uma cor turva e borrada. Você não consegue facilmente criar uma distribuição "nítida" apenas fazendo a média de outras.
A Solução: O artigo mostra que, se você permitir que o robô CP pare de misturar tintas no balde e, em vez disso, dispare "pontuações" como a Impressora a Laser (trabalhando no "espaço de logits" em vez do "espaço de probabilidades"), ele de repente fica muito melhor em linguagem. Isso reduz significativamente a lacuna.

2. O "Gargalo de Contexto": Os Trilhos Fixos do Trem vs. A Estrada Dinâmica

Este é o problema maior. Imagine que o robô precisa olhar para trás, para as palavras anteriores, para entender a palavra atual.

O LLM (A Estrada Dinâmica): O LLM usa um mecanismo chamado "Autoatenção". Imagine um GPS que pode desenhar instantaneamente uma nova estrada conectando quaisquer dois pontos na frase, não importa o quão distantes estejam. Se a frase for "O gato sentou-se no tapete", o LLM pode desenhar instantaneamente uma estrada entre "gato" e "tapete", mesmo que haja 50 palavras no meio. Ele adapta suas conexões com base no que a frase realmente precisa.
O CP (Os Trilhos Fixos do Trem): O robô CP é construído sobre uma estrutura rígida chamada vtree (um diagrama de árvore fixo). Imagine um sistema de trem onde os trilhos são colocados permanentemente antes do trem nunca ter corrido.
- Se a estrutura da frase corresponder aos trilhos (por exemplo, palavras locais conectando-se aos seus vizinhos imediatos), o CP roda suavemente e performa quase tão bem quanto o LLM.
- O Problema: Se a frase exigir uma conexão que os trilhos não suportam (por exemplo, conectar a primeira palavra à última palavra de uma maneira específica), o CP fica preso. Ele não consegue fazer um desvio. É como tentar dirigir um carro em um trilho de trem que vai na direção errada.

O artigo prova que, embora o CP possa teoricamente lidar com conexões complexas, ele só consegue fazê-lo se os "trilhos do trem" forem colocados exatamente da maneira certa para aquela frase específica. Como a linguagem real é bagunçada e muda sua estrutura constantemente, os trilhos fixos do CP são uma grande desvantagem.

A Ideia do "Super-CP"

Os autores também testaram uma ideia de "Super-CP". E se permitíssemos que o robô CP tivesse múltiplos conjuntos de trilhos e escolhesse o melhor para cada frase?

A Teoria: Matematicamente, essa versão "solta" do CP é estritamente mais poderosa do que a versão rígida.
A Realidade: Embora funcione melhor em testes simples e artificiais, é muito difícil treinar esses modelos flexíveis em dados do mundo real. O artigo conclui que, embora saibamos como torná-los mais poderosos, ainda não descobrimos a melhor maneira de ensiná-los a aprender de forma eficaz.

Resumo

O artigo conclui que os Circuitos Probabilísticos não estão "quebrados", eles apenas estão desajustados para a linguagem:

Eles misturam tintas em vez de imprimir pontuações: Mudar a forma como eles geram previsões ajuda muito.
Eles estão presos em trilhos fixos: Eles não conseguem conectar palavras dinamicamente como os LLMs fazem, o que os prejudica quando a estrutura da frase se torna complexa.

Se pudermos corrigir o problema da "mistura de tintas" e encontrar uma maneira de treinar modelos flexíveis de "troca de trilhos", os CPs finalmente poderão alcançar os LLMs em tarefas de linguagem, mantendo sua capacidade especial de fazer matemática exata.

Resumo Técnico: O Limite de Expressividade dos Circuitos Probabilísticos

Declaração do Problema

Os Circuitos Probabilísticos (CPs) são uma classe de modelos generativos profundos distinguida pela sua capacidade de suportar inferência probabilística exata e eficiente (por exemplo, marginalização e condicionamento). Apesar dessa vantagem teórica, os CPs ficam significativamente atrás dos Modelos de Linguagem de Grande Escala (LLMs) baseados em Transformer em tarefas de modelagem de linguagem autoregressiva. Embora trabalhos anteriores tenham analisado a expressividade dos CPs isoladamente ou comparado subclasses dentro da família tratável, as causas raiz da lacuna de desempenho entre CPs tratáveis e modelos de sequência neurais dominantes permanecem obscuras. Este artigo busca identificar os gargalos estruturais que limitam a expressividade dos CPs quando aplicados à modelagem de linguagem.

Metodologia

Os autores estabelecem um framework autoregressivo unificado para permitir uma comparação direta, cabeça a cabeça, entre CPs e LLMs. Ambas as classes de modelos são tratadas como codificadores condicionados ao contexto que mapeiam um prefixo $x_{<t}$ para parâmetros preditivos $\theta_t$ para o próximo token $X_t$ .

A análise decompõe a lacuna de expressividade em dois gargalos estruturais:

O Gargalo de Saída: Investigando como as representações internas são traduzidas em distribuições de vocabulário. Os LLMs operam no espaço de logits (vetores não restritos normalizados por softmax), enquanto os CPs padrão operam no espaço de probabilidades (combinações convexas de distribuições de base).
O Gargalo de Codificação de Contexto: Analisando a capacidade dos codificadores de fundir informações entre variáveis de contexto. Os LLMs utilizam atenção dinâmica, enquanto os CPs decompósitos estruturados dependem de estruturas de roteamento fixas definidas por uma vtree (uma árvore binária que governa divisões de escopo de variáveis).

O estudo emprega uma combinação de provas teóricas (utilizando o posto de separação como medida de complexidade) e experimentos empíricos controlados. Os experimentos envolvem:

Comparar Modelos Ocultos de Markov (HMMs, uma subclassificação de CPs) e Transformers padrão com variantes modificadas: Logit-HMM (CPs com saída no espaço de logits) e Prob-Transformer (Transformers com saída no espaço de probabilidades).
Avaliar o desempenho em conjuntos de dados sintéticos com topologias de dependência manipuladas (locais vs. estilo de indução) e benchmarks do mundo real (Penn Treebank, WikiText-103, UD-ATIS).
Testar o relaxamento da decomposição estruturada para a decomposição geral para avaliar o impacto do roteamento fixo.

Principais Contribuições e Resultados

1. A Incompatibilidade de Saída

O artigo demonstra que o domínio geométrico da parametrização de saída impacta significativamente o desempenho.

Descoberta: As distribuições de linguagem natural são frequentemente nítidas (baixa entropia). Representá-las como combinações convexas no espaço de probabilidades (CPs padrão) impõe restrições geométricas mais estritas do que mapeamentos lineares não restritos no espaço de logits (Transformers).
Evidência: Em experimentos controlados, os Logit-HMMs (CPs usando saídas no espaço de logits) superam substancialmente os HMMs padrão e estreitam a lacuna com os Transformers. Por outro lado, forçar um Transformer a usar saídas no espaço de probabilidades (Prob-Transformer) degrada seu desempenho.
Conclusão: Adotar uma parametrização no espaço de logits para CPs reduz substancialmente a lacuna de expressividade, sugerindo que a restrição padrão do espaço de probabilidades é um gargalo primário.

2. A Incompatibilidade de Roteamento (Codificação de Contexto)

O artigo analisa a capacidade dos CPs decompósitos estruturados de capturar dependências usando o posto de separação.

Resultado Teórico (Teorema 1): CPs decompósitos estruturados podem igualar o posto de separação dos Transformers, mas apenas em partições de variáveis que estão alinhadas com a vtree fixa do circuito.
Evidência Empírica: Em conjuntos de dados sintéticos, um CP atinge desempenho no nível do Transformer quando o layout da sua vtree coincide com a topologia de dependência dos dados (por exemplo, local vs. indução). No entanto, o desempenho degrada severamente quando o layout não coincide.
Generalização: Essa limitação não é exclusiva dos CPs; Transformers com máscaras de atenção fixas (simulando roteamento fixo) também falham em dados de topologia mista, onde uma única estrutura fixa não consegue capturar simultaneamente dependências locais e de longo alcance.
Conclusão: A rigidez das estruturas de roteamento fixo é um gargalo fundamental para dados com topologias de dependência heterogêneas.

3. Relaxando a Decomposição Estruturada

Os autores investigam se a transição de CPs decompósitos estruturados (com vtree fixa) para CPs decompósitos gerais (com roteamento flexível) resolve o problema.

Resultado Teórico (Teorema 2): CPs decompósitos são estritamente mais expressivos do que os decompósitos estruturados; existem funções representáveis por CPs decompósitos de tamanho polinomial que requerem tamanho exponencial na forma decompósita estruturada.
Realidade Empírica: Embora fundir múltiplos componentes estruturados (uma mistura de especialistas) melhore o desempenho em dados sintéticos, os ganhos diminuem em conjuntos de dados do mundo real (PTB, UD-ATIS).
Conclusão: Embora a lacuna de expressividade teórica seja clara, otimizar e construir efetivamente CPs decompósitos para aproveitar essa vantagem em distribuições do mundo real permanece um desafio aberto.

Significado e Alegações

O artigo afirma caracterizar a lacuna de expressividade entre CPs e LLMs não como uma única falha, mas como uma decomposição em duas incompatibilidades estruturais específicas:

Espaço de Saída: A restrição de combinações convexas no espaço de probabilidades versus projeções no espaço de logits.
Flexibilidade de Roteamento: A limitação de estruturas de vtree fixas versus roteamento dinâmico dependente da entrada.

Os autores afirmam que essas descobertas fornecem direções concretas para trabalhos futuros:

Explorar parametrizações de saída além de combinações convexas no espaço de probabilidades (por exemplo, espaço de logits) para modelar melhor distribuições nítidas.
Desenvolver algoritmos de aprendizado capazes de otimizar efetivamente a classe mais ampla de CPs decompósitos para superar o gargalo do roteamento fixo.

O artigo mantém uma postura modesta em relação ao "gargalo de codificação de contexto", observando que, embora limites teóricos sejam estabelecidos, a realização prática das vantagens dos CPs decompósitos em distribuições complexas do mundo real ainda não foi totalmente alcançada. A análise é validada principalmente em conjuntos de dados sintéticos com topologias controladas e benchmarks padrão de modelagem de linguagem, reconhecendo que os resultados do posto de separação caracterizam lacunas de expressividade no pior caso.