🔢 mathematics

Capability from Access Structure, Not Scale: Lower Bounds and Pre-Registered Tests for Hybrid Sequence Models

Este artigo desafia a noção de que o escalonamento por si só garante a convergência de capacidade ao propor a Hipótese da Convergência de Capacidade, que argumenta que a verdadeira capacidade requer uma arquitetura híbrida específica combinando um canal de estado compressivo e um canal de índice de verbatim, uma afirmação sustentada por limites teóricos inferiores e resultados experimentais pré-registrados.

Autores originais: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

Publicado 2026-07-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Corrida da IA: Por que Maior nem Sempre é Melhor

Imagine que você está construindo uma biblioteca para armazenar toda a história do universo. Por muito tempo, os cientistas acreditaram que, se você apenas continuasse tornando a biblioteca maior e os bibliotecários mais inteligentes, eles acabariam concordando exatamente onde cada livro deveria ficar. Essa ideia, conhecida como Hipótese da Representação Platônica, sugere que, à medida que os modelos de IA crescem massivamente, todos começam a "pensar" da mesma forma, convergindo para uma compreensão perfeita e compartilhada da realidade. É como o modo como todo ser humano, independentemente da língua, acaba concordando que o fogo é quente e a água é molhada.

Mas há um porém. Saber onde um livro está em uma prateleira (representação) é muito diferente de realmente ser capaz de correr até essa prateleira, pegar o livro e ler uma frase específica dele enquanto a biblioteca está pegando fogo e você tem apenas uma pequena lanterna (capacidade). No mundo da IA, essa "lanterna" é o orçamento de inferência — o limite estrito de quanta memória e poder de computação o modelo pode usar para cada pergunta que responde. A grande questão não é apenas "O modelo entende o mundo?", mas sim "Ele consegue realmente encontrar a resposta certa em um mar de informações sem ficar sem memória?". Este é o enigma que este artigo aborda: tornar um modelo maior garante que ele possa resolver problemas mais difíceis, ou é necessário um truque arquitetônico específico para realmente realizar o trabalho?

A Maçã no Fluxo Infinito

Este artigo propõe uma nova regra para o mundo da IA chamada Hipótese da Convergência de Capacidade (CCH). Ele argumenta que, embora os modelos de IA possam todos aprender a "ver" o mundo da mesma forma à medida que crescem, eles não necessariamente se tornarão melhores em fazer as coisas, a menos que sejam construídos com uma estrutura específica de duas partes.

Para entender isso, os autores usam um experimento mental chamado "A Maçã de Newton em um Fluxo Infinito". Imagine um rio fluindo para sempre, carregando milhões de pedaços de papel. Em algum lugar perto do início, alguém escreve "Newton, maçã, 1666" em um pedaço de papel. O rio então inunda com bilhões de outros papéis que parecem e soam muito semelhantes (como "Newton, gravidade, 1666" ou "Maçã, torta, 1666"). Seu trabalho é esperar até o fim do rio e puxar o exato papel original "Newton, maçã, 1666".

O artigo argumenta que a maioria dos modelos de IA atuais são como dois tipos diferentes de nadadores tentando encontrar esse papel:

O Nadador Compressivo (SSMs): Estes modelos são como um nadador que carre o uma mochila pequena e pesada. Eles podem lembrar a direção geral do rio (ex: "é uma história sobre Newton"), mas como sua mochila é muito pequena, eles precisam jogar fora os detalhes específicos para abrir espaço para a nova água. Quando chegam ao fim do rio, esqueceram as palavras exatas "maçã" e "1666". Eles atingem o que os autores chamam de Parede de Shannon: um limite duro onde você simplesmente não consegue encaixar todos os detalhes necessários em uma memória pequena.
O Nadador Verbatim (Transformers): Estes modelos são como um nadador que carrega uma biblioteca gigante e flutuante de cada papel que já viu. Eles conseguem lembrar das palavras exatas perfeitamente. No entanto, eles têm um Limite de Horizonte: eles só conseguem olhar para trás uma curta distância. Se o rio for longo demais, o papel "Newton, maçã" já flutuou para fora de sua visão. Eles também atingem uma Parede de Circuito: se a tarefa exigir uma longa cadeia de lógica complexa (como resolver um quebra-cabeça passo a passo), seu cérebro de tamanho fixo fica travado e não consegue conectar os pontos.

A Estratégia Vencedora: A Ponte Híbrida

A principal descoberta do artigo é que, para resolver o problema da "Maçã de Newton", você não precisa apenas de um nadador maior; você precisa de um Híbrido. Este é um modelo que combina os dois tipos de nadadores em uma única equipe:

A Ideia (Canal de Estado): Uma parte mantém um resumo pequeno e eficiente da direção do rio (a "Ideia"). Ela lembra onde olhar sem se perder nos detalhes.
A Sombra (Canal de Índice): A outra parte mantém uma lista massiva e pesquisável de cada palavra específica que viu (a "Sombra"). Ela lembra os detalhes exatos.

Os autores chamam isso de Híbrido de Acesso Completo. Seus experimentos mostram que, quando você combina esses dois, o modelo pode resolver problemas que nem os modelos puramente "Compressivos" nem os puramente "Verbatim" conseguem resolver, não importa o quanto você os aumente de escala.

O Que os Experimentos Mostraram

Os pesquisadores não apenas adivinharam; eles realizaram testes pré-registrados (o que significa que escreveram suas regras antes de ver os resultados) em modelos de pequena escala para ver se essa teoria se sustentava.

O Gap das Tesouras: Eles encontraram uma diferença dramática, que chamam de "gap das tesouras". Quando testaram um modelo puramente "Compressivo" em uma tarefa com 128 fatos ocultos, ele falhou quase completamente (99,4% de erro). Mas quando adicionaram apenas uma camada do índice "Verbatim" a esse mesmo modelo, o erro caiu para quase zero (0,000%). Isso provou que a capacidade de resolver o problema não era sobre o modelo ser mais "inteligente" ou "maior", mas sobre ter a estrutura de acesso correta.
A Confiabilidade do Treinamento: Eles também descobriram que, embora um modelo puro possa teoricamente resolver um quebra-cabeça difícil se tiver muita sorte durante o treinamento, o modelo Híbrido o resolve de forma confiável todas as vezes. É a diferença entre um aluno que pode passar em uma prova se acertar no chute e um aluno que realmente sabe a matéria.
A Tendência da Indústria: O artigo também observou modelos de IA do mundo real lançados entre 2023 e 2026. Eles descobriram que a indústria está naturalmente derivando para este design Híbrido. A maioria dos principais modelos agora utiliza uma mistura das duas abordagens, mantendo um "estado" pequeno para eficiência e um "índice" maior para precisão.

O Que Isso Significa (e o Que Não Significa)

O artigo é muito cuidadoso com o que afirma. Ele não diz que modelos Híbridos são perfeitos ou que podem resolver todos os problemas. Ele descarta explicitamente a ideia de que "maior é melhor" por si só; um modelo puro, não importa o quão enorme seja, ainda atingirá um limite se carecer da estrutura de acesso correta.

Ele também admite que seu teste da "Maçã de Newton" é um cenário de pior caso. Na vida real, a linguagem natural pode não ser tão caótica quanto o rio infinito que eles simularam. No entanto, a descoberta central é robusta: Capacidade não é gratuita. Você não pode simplesmente comprar melhores habilidades de resolução de problemas jogando mais poder de computação em um modelo de tipo único. Em vez disso, você tem que "comprar" a habilidade de resolver problemas complexos de longo alcance construindo um sistema que tenha uma memória comprimida para direção e um índice detalhado para recuperação.

Em suma, o artigo sugere que o futuro da IA não é apenas sobre tornar os modelos maiores, mas sobre construí-los com a arquitetura de dois canais correta. A "Ideia" mantém o modelo seguindo em frente, e a "Sombra" garante que ele nunca perca os fatos específicos necessários para o sucesso.

Resumo Técnico: A Hipótese da Convergência de Capacidade (CCH)

Enunciado do Problema
O artigo aborda uma lacuna crítica na compreensão do escalonamento de modelos de linguagem de grande escala. Enquanto a Hipótese da Representação Platônica (PRH) postula que modelos heterogêneos convergem para uma representação estatística compartilhada da realidade ( $Z$ ) à medida que escalam, este artigo argumenta que a convergência representacional não implica automaticamente a convergência de capacidade. Especificamente, sob um orçamento fixo de inferência por token, os modelos podem alinhar suas representações internas, mas divergir significاً em sua habilidade de resolver tarefas que exigem recuperação de longo alcance e literal (verbatim), combinada com o rastreamento serial de estado. Os autores identificam que "conhecer" um fato no espaço representacional é distinto de "acessá-lo" sob restrições de recursos.

Metodologia
O artigo emprega uma abordagem de evidência multicamadas combinando teoria formal, experimentos mentais e testes empíricos controlados:

Estrutura Teórica e Experimento Mental:
- O Problema da Maçã de Newton: Um experimento mental onde um modelo deve recuperar um fato específico (ex: "Newton, maçã, 1666") plantado no início de um fluxo após $10^7$ tokens de ruído de sobreposição semântica.
- Três Paredes de Recursos: Os autores definem três barreiras teóricas que impedem arquiteturas puras de resolver este problema sob orçamentos fixos:
  - Parede de Shannon (Incondicional): Modelos puramente compressivos (ex: SSMs) possuem capacidade de estado $O(1)$ . A teoria da informação (Desigualdade do Processamento de Dados) dita que eles não podem armazenar $O(Nb)$ bits de ligações independentes, levando a um piso de erro rígido.
  - Parede do Horizonte (Incondicional): Modelos de atenção pura com janelas fixas perdem o acesso a tokens fora da janela, falhando na recuperação exata para fluxos longos.
  - Parede de Circuito (Condicional a $TC_0 \neq NC_1$ ): Pilhas de atenção pura de profundidade fixa não podem realizar a composição serial de atualizações de estado (ex: ações de grupo $S_5$ ) necessárias para cadeias de raciocínio complexas.
- O Híbrido de Acesso Completo: A solução proposta é uma arquitetura que detém tanto um canal de estado compressivo (para composição serial $O(1)$ ) quanto um canal de índice literal (para recuperação exata $\Theta(L)$ ).
Provas Formais:
- O artigo estabelece limites inferiores informacional-teóricos provando que qualquer arquitetura com $o(Nb)$ de estado de consulta falha na recuperação exata de ligações independentes de alta entropia.
- Define Fechamento de Capacidade ( $C_\infty$ ) para demonstrar formalmente que o conjunto de tarefas solucionáveis por um híbrido excede estritamente a união das famílias puras ( $C_\infty(T \sqcup S) \supsetneq C_\infty(T) \cup C_\infty(S)$ ).
Evidência Empírica:
- Análise de Censo: Um levantamento de 140 arquiteturas lançadas (2023–2026) mostrando uma convergência para designs "acesso-completos" com uma participação específica de atenção global ( $\rho$ ) na faixa de $[1/12, 1/4]$ .
- Testes de Pequena Escala Pré-Registrados: Experimentos controlados (0.2M–1.1M de parâmetros) testando previsões específicas (P1–P3) sob um protocolo congelado. Estes testes isolam a arquitetura da escala e dos dados.

Principais Contribuições

A Hipótese da Convergência de Capacidade (CCH): Uma hipótesa formal afirmando que, sob orçamentos de inferência fixos, a capacidade converge não para uma única arquitetura, mas para a classe acesso-completa — qualquer combinação de um canal de estado compressivo e um canal de índice literal escalável.
A "Lacuna das Tesouras" (Scissors Gap) e o Piso de Informação: O artigo fornece a primeira medição pré-registrada de uma "lacuna das tesouras": modelos de estado puro atingem um piso de erro determinado por limites informacionais-teóricos, enquanto híbridos (com o mesmo estado mais um índice) alcançam erro próximo de zero.
Separação Formal de Representação e Capacidade: Os autores demonstram que o alinhamento representacional (PRH) não prevê a capacidade. Em experimentos de escala correspondente, modelos com alto alinhamento representacional (CKA) mostraram capacidades de recuperação divergentes baseadas apenas em sua estrutura de acesso.
Prova de Existência de Super-Aditividade: O artigo prova que a combinação de um canal de estado e um canal de índice cria uma capacidade estritamente maior que a soma de suas partes, especificamente para tarefas que exigem tanto composição serial quanto recuperação exata.

Resultados

Teóricos: As três paredes (Shannon, Horizonte, Circuito) são estabelecidas como barreiras incondicionais ou condicionais para famílias puras. A arquitetura híbrida é mostrada como atravessando essas paredes ao "pagar o preço" de um canal de índice em vez de evitar os limites.
Censo (R1–R4): Dados da indústria mostram uma tendência consistente para arquiteturas híbridas com uma participação de atenção global ( $\rho$ ) agrupada em torno de 0.167 (mediana), sugerindo uma convergência econômica e de capacidade para a classe acesso-completa.
Experimental (P1–P3):
- P1 (Lacuna das Tesouras): Suportado. SSMs puros atingem o piso de informação (erro $\approx 0.994$ ), enquanto híbridos com o mesmo estado mais uma camada de atenção global alcançaram erro $\approx 0.000$ .
- P2 (Bifurcação): Parcialmente suportado. Híbridos com expressividade de estado suficiente (ex: $\beta \in (0,2)$ ) resolveram o rastreamento de $S_5$ , enquanto variantes menos expressivas falharam. No entanto, a treinabilidade confiável na fronteira foi observada como dependente de semente (seed).
- P3 (Comensurabilidade de Canais): Falhou. A previsão de que resolver híbridos mostraria maior alinhamento entre canais do que os que falharam foi revertida; os híbridos que resolveram mostraram menor alinhamento, indicando diferenciação de canais em vez de convergência.
- Testemunha de Conjunção: O híbrido passou em uma tarefa composta (composição de endereço + recuperação) em todas as sementes, enquanto nenhuma outra arquitetura pura atendeu ao critério. Uma semente de recorrência pura resolveu o problema, indicando que a separação é atualmente de confiabilidade de treinamento e não de existência neste nível de escala.

Significância e Alegações

O artigo afirma estabelecer um novo limite para a compreensão do escalonamento de modelos: a capacidade é comprada pela estrutura de acesso, não dada livremente pela escala.

Escopo Modesto: Os autores declaram explicitamente que não pretendem ter inventado arquiteturas híbridas ou provado que corpora naturais satisfaçam as suposições de separabilidade necessárias. A "testemunha" é uma construção de pior caso; a alegação é que a estrutura de acesso pode ser decisiva, não que seja decisiva em todas as cargas de trabalho naturais.
Falseabilidade: O artigo posiciona a CCH como uma hipótese falseável. As principais alegações são apoiadas por limites inferiores e experimentos pré-registrados. O aspecto de "convergência" é emoldurado como uma conjectura motivada pela economia e apoiada pela consistência (dados de censo), em vez de demonstração direta.
Implicações: Os autores argumentam que o benchmarking e o design de modelos futuros devem tratar a estrutura de acesso como uma variável de primeira classe. Eles propõem que a indústria está convergindo para um padrão de design específico (o híbrido acesso-completo) porque esta é a única maneira de satisfazer os requisitos duplos de raciocínio de longo horizonte e recuperação literal sob orçamentos fixos de inferência.

Em resumo, o artigo argumenta que, embora as representações convirjam para uma realidade compartilhada (PRH), as capacidades convergem para um atrator arquitetônico específico (CCH) definido pela habilidade de manter tanto um estado comprimido quanto um índice literal. Esta convergência é impulsionada pela economia da inferência e pela necessidade informacional-teórica de pagar pela capacidade de acesso.