Resumo Técnico: Horizontes de Erro Zero em LLMs Confiáveis

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios críticos de segurança, como saúde, finanças e sistemas nucleares. Apesar de suas aparentes capacidades de raciocínio, os LLMs exibem "lacunas" em sua competência, cometendo erros inexplicáveis em tarefas simples (ex: calcular $127 \times 82$, determinar a paridade de uma string binária curta ou verificar parênteses balanceados).

As métricas de avaliação atuais, primariamente a acurácia, são insuficientes para aplicações críticas de segurança por várias razões:

• Arbitrariedade de Escala: A acurácia depende da escolha do avaliador quanto ao intervalo de problemas (ex: testar multiplicação até $50 \times 50$ vs. $99 \times 99$). Um modelo pode parecer altamente acurado em um intervalo limitado, enquanto falha catastroficamente em entradas ligeiramente maiores.
• Falta de Garantias de Segurança: Uma alta acurácia média não impede a existência de "lacunas" onde o modelo falha. Em contextos de segurança crítica, um único erro pode ser fatal.
• Saturação: Benchmarks de tamanho fixo eventualmente saturam à medida que os modelos melhoram, perdendo a capacidade de diferenciar o desempenho de estado da arte.

O artigo argumenta que há necessidade de uma métrica que defina um limite de segurança garantido em vez de uma pontuação de desempenho médio.

2. Metodologia: Horizonte de Erro Zero (ZEH)

Os autores propõem o Horizonte de Erro Zero (ZEH - Zero-Error Horizon), uma métrica que representa o tamanho máximo do problema $n$ para o qual um modelo consegue resolver todos os instâncias sem erro sob decodificação gananciosa determinística.

Definição

Dado um modelo fixo, tipo de problema e prompt:

• Seja $B_n$ o conjunto de problemas de tamanho $n$.
• Seja $T_n = \bigcup_{i=1}^n B_i$ o conjunto de todos os problemas de tamanho no máximo $n$.
• Seja $C$ o conjunto de problemas que o modelo responde corretamente.
• O ZEH é definido como:
  $$\text{ZEH} = \max \{ n \mid T_n \subseteq C \}$$

Em essência, um modelo com $\text{ZEH} = k$ resolve todas as instâncias de tamanho $1$ através de $k$ corretamente, mas comete pelo menos um erro em uma instância de tamanho $k+1$. A instância específica de tamanho $k+1$ onde o modelo falha pela primeira vez é denominada Limitador de ZEH.

Tarefas de Avaliação

Os autores avaliam o ZEH em quatro tarefas:

1. Multiplicação: Multiplicação de inteiros ($a \times b$), onde o tamanho é definido como $\max(a, b)$.
2. Paridade: Determinar a paridade (contagem par/ímpar de 1s) de strings binárias, onde o tamanho é o comprimento da string.
3. Parênteses Balanceados: Determinar se uma string de parênteses está balanceada, onde o tamanho é o comprimento da string.
4. Coloração de Grafos: Encontrar o número cromático de grafos simples não direcionados, onde o tamanho é o número de nós.

Otimização para Eficiência

Avaliar o ZEH requer verificação exaustiva, o que é computacionalmente caro. O artigo propõe quatro técnicas de aceleração:

1. Teacher Forcing: Em vez de decodificação autorregressiva, o modelo recebe a sequência completa (ex: $28 \times 43 = 1204$) com uma máscara causal para verificar a correção token a token em paralelo.
2. Look-Ahead (Batching): Instâncias de diferentes tamanhos são agrupadas para processamento paralelo para maximizar a utilização da GPU, em vez de processar tamanho por tamanho.
3. Preenchimento de Prompt (Prompt Prefilling): Prefixos comuns de prompt são processados uma vez, e seus caches de Key-Value (KV) são compartilhados entre todas as instâncias.
4. FlashTree: Uma abordagem estruturada em árvore usando uma Trie para compartilhar caches KV entre prefixos compartilhados (ex: $1 \times 1$, $1 \times 2$, $1 \times 3$). Isso utiliza uma implementação de softmax online (inspirada no FlashAttention) para evitar o gargalo de máscara de atenção $O(N^2)$, alcançando até 10x de aceleração sobre a autorregressão ingênua.

3. Resultados Principais

3.1 Falhas Surpreendentes em Modelos de Estado da Arte

A avaliação do GPT-5.2 (um modelo hipotético no contexto do artigo, datado de janeiro de 2026) revela lacunas de capacidade significativas:

• Paridade: ZEH = 4. O modelo falha na string de 5 caracteres 11000.
• Parênteses Balanceados: ZEH = 10. O modelo falha na string de 11 caracteres ((((()))))).
• Multiplicação: ZEH = 126. O modelo falha em $127 \times 82$.
  Estes resultados demonstram que mesmo modelos capazes de geração de código complexo (ex: dinâmica de fluidos) falham em tarefas elementares de aritmética e lógica.

3.2 Análise da Família Qwen2.5

Os autores analisaram a série Qwen2.5 (0.5B a 72B) em multiplicação:

• Correlação com Acurácia: Embora o ZEH e a acurácia aumentem geralmente com o tamanho do modelo, eles não correlacionam um-para-um. Por exemplo, a acurácia para o modelo 72B em $99 \times 99$ é 98,6%, mas seu ZEH é apenas 42.
• Memorização vs. Raciocínio Algorítmico:
  • Modelos Pequenos (0.5B - 3B): Mostram alta correlação entre a frequência dos dados de treinamento (corpus C4) e a acurácia, sugerindo dependência de memorização. Seu ZEH é baixo e estagnado porque a memorização é estocástica; "lacunas" aleatórias nos dados de treinamento impedem um horizonte livre de erros contínuo.
  • Modelos Grandes (14B - 72B): Mostram diminuição da correlação com a frequência de treinamento, indicando uma mudança para o raciocínio algorítmico.
• Erros Estruturados: À medida que os modelos crescem, os erros tornam-se mais "estruturados". Para modelos grandes, a diferença entre a resposta prevista e a correta é frequentemente um múltiplo de 10 (ex: prever 1006 em vez de 986). Isso sugere que o modelo entende o algoritmo de multiplicação (ex: acertar o dígito das unidades) mas comete erros de execução (ex: erros de transporte/carry), em vez de alucinações aleatórias.
• Sensibilidade ao Transporte (Carry): A análise de regressão logística mostra que modelos maiores são mais sensíveis a operações de "transporte" (onde a multiplicação do dígito $\ge 10$) do que modelos menores. Este resultado contraintuitivo apoia a hipótesia de que modelos maiores estão tentando executar regras aritméticas em vez de recuperar respostas memorizadas; portanto, são suscetíveis à dificuldade computacional das regras que tentam executar.

3.3 Estabilidade de Prompt

O ZEH é relativamente robusto a variações de prompt. Para os modelos Qwen2.5, o desvio padrão do ZEH através de diferentes formulações de prompt foi de aproximadamente 3. No entanto, para aplicações críticas de segurança, os autores recomendam usar o menor ZEH observado entre múltiplos prompts.

4. Significância e Alegações

O artigo afirma que o ZEH oferece vantagens distintas sobre as métricas de acurácia tradicionais para LLMs confiáveis:

1. Garantias de Segurança e Sinais de Alerta: O ZEH fornece um limite claro: problemas dentro do horizonte são "seguros" (corretos garantidos), enquanto problemas além dele são "perigosos". Isso é crucial para domínios de segurança crítica, onde o desempenho médio é insuficiente.
2. Evidência Concreta (Limitadores de ZEH): Diferente de pontuações de acurácia abstratas, o ZEH fornece exemplos específicos e reproduzíveis (limitadores) onde o modelo falha. Isso facilita a depuração e fornece prova inequívoca de lacunas de capacidade.
3. Métrica Objetiva: O ZEH elimina a "arbitrariedade de escala" da acurácia. O horizonte é determinado pelas capacidades intrínsecas do modelo, não pela escolha do avaliador quanto ao intervalo de teste.
4. Insight sobre Emergência: O ZEH é um indicador sensível da transição da memorização para o raciocínio algorítmico. O crescimento do ZEH correlaciona-se com a habilidade do modelo de executar regras de forma confiável, mesmo quando a acurácia geral estagna.
5. Preparação para o Futuro (Future-Proofing): Ao contrário de benchmarks fixos que saturam, o ZEH é aberto e continua a servir como métrica conforme os modelos melhoram.

Os autores concluem que, embora o ZEH incorra em custos computacionais, as técnicas de otimização propostas (FlashTree, etc.) tornam-no viável. Eles enfatizam que o ZEH deve ser usado como uma métrica complementar à acurácia, particularmente para verificar a confiabilidade em aplicações de alto risco.