Resumo Técnico: Certificados Finitos para Determinância In-Context e uma Teoria de Limiar de Emergência

Declaração do Problema

O artigo aborda uma lacuna fundamental de verificação na avaliação de grandes modelos de linguagem (LLMs). A avaliação empírica baseia-se em distribuições, acurácias e pontuações de limiar, que frequentemente confundem três fenômenos distintos:

1. Um modelo atribuindo alta probabilidade a uma saída correta sem que o contexto a entenda semanticamente.
2. Um prompt sobrepondo um padrão sem adicionar um axioma mônotônico.
3. Uma pontuação de benchmark saltando devido a um mapa de observação descontínuo, mesmo quando a confiança semântica subjacente muda gradualmente.

Os autores argumentam que as teorias existentes (ex: inferência bayesiana latente, estudos de circuitos mecanísticos) não fornecem um alvo semântico comum — uma lógica onde o comportamento é uma fórmula, o contexto é uma atualização e as tendências de escala são testadas contra compromissos limitantes. O artigo busca substituir os rótulos de benchmark por certificados semânticos finitos para definir rigorosamente quando um contexto força uma resposta (determinância) e quando um salto de benchmark indica uma transição semântica genuína versus um artefato métrico (emergência).

Metodologia

Os autores modelam LLMs pré-treinados não como transformadores físicos, mas como apresentações semânticas: uma tupla $G_\lambda = (L, K_\lambda, \mu_\lambda, C_\lambda, U_\lambda, D_\lambda)$ na escala $\lambda$.

• $K_\lambda$: Uma classe de estruturas de primeira ordem representando tarefas ou hipóteses latentes.
• $\mu_\lambda$: Uma medida de probabilidade sobre eventos definíveis (confiança semântica).
• $U_\lambda$: Uma regra de atualização de contexto (restrição preferencial ou posterior).
• $D_\lambda$: Um kernel de decodificação mapeando estruturas para saídas.

A análise procede em duas trilhas paralelas:

1. Lógica/Teoria dos Modelos: Usando compacidade, espaços de Stone e medidas de Keisler para definir a confiança semântica como uma probabilidade finitamente aditiva sobre eventos definíveis.
2. Algébrica/Combinatória: Analisando famílias de tarefas lineares de campos finitos para derivar critérios exatos para determinância e complexidade de certificado.

Principais Contribuições

1. Determinância Finita e Curvas de Identificação

Para famílias de tarefas lineares de campos finitos, o artigo estabelece condições exatas para quando uma consulta é forçada por um contexto:

• Critério de Espaço de Linhas: Uma consulta $q$ é forçada se, e somente se, ela reside no espaço de linhas da matriz de design de exemplos $A_n$.
• Contagem de Hipóteses Residuais: O número de parâmetros latentes restantes é $|F|^{d - \text{rank}(A_n)}$.
• Curvas de Identificação: A probabilidade de identificação semântica total após $n$ exemplos aleatórios é dada por $Id(n) = \prod_{i=0}^{d-1} (1 - Q^{i-n})$.
• Complexidade: Extrair o subcontexto de força (forcing) mínimo é provado como NP-completo, mesmo para saídas binárias, reduzindo-se a um problema de separação de pares.

2. Teoria de Limiar de Emergência

O artigo separa "emergência" (um salto em pontuações de benchmark) de "descontinuidade semântica":

• Teorema Anti-Miragem: Um salto em uma métrica de limiar (ex: correspondência exata) não implica uma descontinuidade na confiança semântica subjacente. Pode surgir puramente da descontinuidade do mapa de pontuação.
• Limite de Travessia de Escala: Para compromissos latentes com uma taxa de convergência $1 - s_\lambda \le a\lambda^{-\alpha}$, a escala $\lambda_\tau$ na qual uma propriedade torna-se visível acima do limiar $\tau$ é limitada por $\lambda_\tau = (a/(1-\tau))^{1/\alpha}$.
• Efeito de Conjunção: Para métricas de correspondência exata de múltiplos campos (que exigem que $k$ campos estejam corretos), o salto aparente é intensificado, e a escala de travessia é inflada por um fator de $k^{1/\alpha}$.

3. Confiança Semântica como uma Medida de Keisler

Os autores formalizam a confiança semântica $s_{\lambda,c}(\phi)$ como uma medida de Keisler no espaço de tipos:

• Fórmulas de medida um formam um filtro próprio (um ultrafiltro se o estado for decisivo).
• A representação é invariante sob expansão definicional, garantindo que os compromissos semânticos não dependam de escolhas notacionais.
• A extensão de prompt é modelada como uma atualização preferencial, explicando a não-monotonicidade: adicionar um prompt pode mudar o conjunto de modelos preferidos, deletando consequentemente consequências anteriormente mantidas.

4. Protocolos de Verificação e Falseabilidade

O artigo propõe um sistema de verificação de ciclo fechado usando verificadores sonoros e livres de oráculo:

• Verificadores validam certificados (ex: combinações de espaço de linhas, computações de travessia de escala) sem referência a respostas.
• Um "esquema de refinamento aversivo" permite que um gerador melhore ao agir sobre o feedback direcional do verificador, apagando provadamente limiares de artefatos métricos enquanto preserva lacunas aritméticas genuínas.

Resultados

Resultados Teóricos

• Compacidade: Qualquer propriedade implicada por um fluxo de contexto infinito possui um certificado finito (Teorema 4.7, 7.1).
• Identificação Linear Exata: Em campos finitos, a determinância é estritamente governada pelo rank da matriz. O artigo fornece expressões de forma fechada para a probabilidade de identificação total e determinação local de consulta.
• Emergência como Artefato: Limites teóricos provam que saltos "emergentes" em benchmarks podem ser inteiramente explicados pela interação entre a convergência suave de confiança e funções de pontuação descontínuas (Teorema 6.8, Proposição 6.10).

Validação Empírica (Modelos Treinados)

Os autores executaram um benchmark de emissão de certificado determinístico em um painel de nove modelos de linguagem contemporâneos (variando de capacidade fraca a média) através de três famílias:

1. DET (Determinância de Espaço de Linhas): Modelos devem identificar se uma consulta é forçada e fornecer uma testemunha.
2. THR (Travessia de Limiar): Modelos devem computar a escala exata onde uma função suave cruza um limiar.
3. PRS (Preservação de Prompt): Modelos devem julgar se um novo prompt preserva consequências anteriores.

Descobertas:

• Gradual vs. Exato: A confiança graduada (fração de campos corretos) subiu suavemente através do painel de modelos. As pontuações exatas (todos os campos corretos) permaneceram próximas de zero até que um único modelo forte (Qwen3 14B) cruzou o limiar, saltando para o sucesso total.
• Confirmação Anti-Miragem: Este comportamento correspondeu perfeitamente à previsão teórica da Proposição 6.10: a "emergência" da capacidade THR era um artefato métrico de conjunção ($k=2$), não uma descontinuidade na capacidade subjacente.
• Produção de Certificado: O modelo mais forte produziu com sucesso as testemunhas finitas exigidas (ex: combinações de espaço de linhas, verificações de contenção), demonstrando que os certificados teóricos estão ao alcance de sistemas treinados.

Significância e Alegações

O artigo afirma fornecer uma linguagem modelotética para o comportamento de LLMs que é distinta da análise de circuito mecanístico ou das leis de escala puramente estatísticas. Sua significância reside em:

1. Desacoplamento de Semântica e Métricas: Prova que saltos de benchmark não são necessariamente evidência de novas capacidades semânticas; podem ser artefatos de mapas de observação.
2. Definição de Certificados: Vai além da "acurácia" para definir o que significa um contexto forçar uma resposta, fornecendo critérios algébricos e combinatórios exatos para essa força.
3. Falseabilidade: Oferece protocolos específicos e verificáveis (ex: Predição 1: determinância de espaço de linhas; Predição 2: suavidade de proxies contínuos) para testar se o comportamento de um modelo se alinha com a representação semântica proposta.

Os autores declaram explicitamente que sua construção é condicional e externa: não alegam que os transformadores contêm literalmente modelos de primeira ordem, mas sim que, se o comportamento for representado por uma classe de modelos medidos, então os teoremas derivados sobre determinância, estabilidade de prompt e emergência devem ser válidos. Uma incompatibilidade com modelos treinados refutaria a representação, não a lógica ou a álgebra subjacente.