💬 NLP

The Announcement Carries the Cue: Markup, Boundaries, and the Notation of Pre-Training Corpora

Este artigo argumenta que a presença de anúncios estruturais, em vez de sua notação específica, é a variável crítica que influencia o comportamento do modelo em corpora de pré-treinamento, propondo um novo formato de dados que separa esses anúncios em sidecars reversíveis enquanto prioriza escolhas de formato baseadas em capacidade em detrimento da preservação da fidelidade.

Autores originais: E. M. Freeburg

Publicado 2026-08-11

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: E. M. Freeburg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Mapa Invisível e o Robô Leitor

Imagine que você está ensinando um robô a ler. Você não apenas entrega um livro a ele; você o alimenta com um fluxo massivo e infinito de texto, fragmentado em pequenos pedaços, para que o robô possa aprender como as palavras se encaixam. É assim que os modelos modernos de IA são treinados. Mas há um problema oculto: a maneira como preparamos esse texto importa mais do que pensávamos.

Pense em um livro como uma cidade. As palavras são os edifícios, mas os títulos dos capítulos, números de página e cabeçalhos como "Capítulo 1" são as placas de rua e os marcadores de mapa. Eles dizem onde você está e quando mudou para um novo bairro. Por muito tempo, os cientistas assumiram que, se apenas limpassem o texto — removendo a formatação bagunçada para criar um fluxo suave e simples de palavras — o robô aprenderia perfeitamente. Eles achavam que os "sinais" eram apenas decoração. Mas e se esses sinais forem, na verdade, a parte mais importante da lição? E se o robô não estiver aprendendo a história, mas apenas memorizando os sinais para adivinhar o que vem a seguir? Este artigo investiga se estamos, acidentalmente, ensinando nossos robôs a ignorar a estrutura da história ao remover seu mapa.

O Grande Erro da "Limpeza"

O autor deste artigo, E. M. Freeburg, decidiu investigar uma lacuna estranha na forma como treinamos a IA. Eles notaram que, embora saibamos quais ferramentas usamos para transformar livros em texto, nunca medimos realmente o que essas ferramentas deixam para trás. É como um chef que sabe exatamente qual faca usou para picar os vegetais, mas nunca verifica se os vegetais ainda estão inteiros ou se foram transformados em uma pasta.

Para entender o problema, o autor analisou um livro clássico, Moby-Dick. Em sua forma original, o livro possui 143 linhas de "mobília" — números de capítulo, títulos e cabeçalhos. Se você deletar tudo isso, restará um fluxo contínuo e suave de 283.267 palavras. Para um leitor humano, isso parece bem; você ainda consegue acompanhar a história. Mas para um robô, isso é um pesadelo. O robô está acostumado a ver um sinal que diz "Novo Capítulo Aqui!" a cada poucas mil palavras. Quando esse sinal desaparece, o robô tem que adivinhar onde a história muda apenas olhando para as palavras. É como tentar dirigir por uma cidade onde todas as placas de rua foram pintadas por cima.

O artigo introduz uma nova forma de medir isso chamada "Sobrevivência de Janela Limpa" (Clean-Window Survival). Imagine uma janela com 8.192 palavras de largura. Se você deslizar essa janela através de um texto, a "sobrevivência" é a porcentagem de vezes que a janela desliza sobre uma seção de texto que não possui sinais estruturais (como cabeçalhos ou marcadores) dentro dela.

No famoso conjunto de dados C4 (uma enorme coleção de textos da web), a taxa de sobrevivência é 0,889. Isso significa que o robô vê longos trechos de texto sem placas de sinalização.
Em um conjunto de dados mais recente, feito de PDFs convertidos por modelos de visão (Dolma 3), a taxa de sobrevivência cai para 0,153. Aqui, o robô é constantemente bombardeado com sinais, cabeçalhos e formatação.

O autor descobriu que o "recurso escasso" não é o texto sem sinais; é o texto longo sem sinais. A maior parte do texto da web é curta e bagunçada. Mas os livros são longos e coerentes. O problema é que o treinamento de IA moderno está perdendo o acesso a esses trechos longos e livres de sinais, substituindo-os por textos que estão constantemente gritando "Olhe para mim!" com formatação.

A Grande Descoberta: É o Sinal, Não o Símbolo

O autor realizou uma série de experimentos inteligentes para descobrir o que o robô realmente valoriza. Eles testaram três versões diferentes do mesmo texto:

Marcado: O texto com formatação completa (ex: ## Capítulo 1).
Plano: O texto com os símbolos de formatação removidos, mas as palavras mantidas (ex: apenas as palavras "Capítulo 1" em sua própria linha).
Silencioso: O texto com a linha "Capítulo 1" deletada inteiramente, deixando um espaço vazio.

Aqui está o resultado surpreendente: o robíssimo não se importou com os símbolos.
Quando eles trocaram o símbolo elegante ## por uma linha de texto simples, o desempenho do robô não mudou nada. Não importava se o sinal era uma hashtag ou apenas uma frase. O robô estava feliz de qualquer maneira.

No entanto, quando deletaram a linha inteira (a versão "Silenciosa"), o robô ficou confuso. Prever as próximas palavras tornou-se mensuravelmente mais difícil. O robô precisava daquela pequena linha de "anúncio" para saber que uma nova seção estava começando.

Isso levou a uma percepção importante: o robô não está aprendendo com o estilo do sinal (os símbolos Markdown); ele está aprendendo com a presença do anúncio em si. O sinal atua como um aviso que diz: "Pare o que está fazendo; um novo limite está aqui". Se você remover o sinal, o robô tem que trabalhar muito mais para entender a estrutura por conta própria.

A Solução do "Pure Frame" (Estrutura Pura)

O autor propõe uma nova maneira de preparar dados chamada "Pure Frame".
Imagine que você tem um livro. Você mantém todos os parágrafos na ordem correta. Mas você deleta cada título de capítulo, cabeçalho e rótulo de "Parte Um". Você os substitui por nada — apenas uma linha em branco.

Por que fazer isso? Para forçar o robô a realmente inferir a estrutura a partir da história, em vez de apenas ler a placa de sinalização.
É seguro? Sim. O autor criou um arquivo "sidecar" que salva cada linha deletada. Isso significa que você pode reconstruir perfeitamente o livro original mais tarde. É reversível.

Eles testaram isso em 27 livros de domínio público. A versão "Pure Frame" teve 0,713% menos tokens do que o original porque deletaram os cabeçalhos. Mas, mais importante, a taxa de "Sobrevivência de Janela Limpa" saltou para 1,000. Isso significa que o robô agora é forçado a navegar em um fluxo de pensamento longo e ininterrupto, que é exatamente o que o autor acredita que ele precisa aprender melhor.

O Que os Robôs Não Fazem

O artigo também verificou se os robôs "corrigiriam" o texto por conta própria. Se você der a um robô uma história sem títulos de capítulo, ele começará a escrevê-los de volta?

A Resposta: Não.
Quando os pesquisadores pediram aos modelos base (os robôs brutos, sem ajuste fino) para continuar escrevendo após um título de capítulo deletado, eles não colocaram o título de volta. Eles nem tentaram recriar a estrutura. Eles apenas continuaram escrevendo. Isso sugere que o hábito de ver cabeçalhos é algo que nós damos a eles durante o treinamento, não algo que eles inventam naturalmente.

O Veredito: Escolha o Que Você Quer Ensinar

O artigo conclui com uma sugestão ousada para o futuro do treinamento de IA. Atualmente, os cientistas de dados escolhem ferramentas baseadas na fidelidade — o quão perfeitamente a ferramenta preserva a aparência original do documento. O autor argumenta que devemos escolher ferramentas baseadas na capacidade — qual habilidade específica queremos que o robô aprenda.

Se queremos robôs que possam entender histórias longas e complexas, devemos parar de alimentá-los com textos que estão constantemente gritando "Nova Seção!" com formatação. Em vez disso, devemos alimentá-los com o "Pure Frame" — texto limpo e ininterrupto que os força a fazer o trabalho árduo de descobrir a estrutura da história por conta própria.

O autor admite que esta é uma hipótese que precisa de um último e caro teste: treinar um robô neste novo formato para ver se ele realmente fica mais inteligente. Mas as evidências até agora sugerem que as "placas de sinalização" que temos adicionado podem estar fazendo mais mal do que bem, agindo como uma muleta que impede o robô de aprender a andar sozinho.

Em resumo: o artigo argumenta que, ao remover os "sinais" visuais da estrutura de um livro, podemos estar ensinando a IA a entender a história melhor, em vez de apenas memorizar o índice.

Sumário Técnico: O Anúncio Carrega a Deixa

Declaração do Problema

O artigo identifica uma variável crítica e não registrada nos corpora de pré-treinamento: a notação. Embora o campo tenha estabelecido que as escolhas de extração de texto (ex: parsing de HTML vs. texto puro) alteram significativamente o comportamento do modelo, nenhum dataset card registra a notação do corpus resultante — especificamente, como as fronteiras estruturais (capítulos, seções) são escritas.

Os pipelines de treinamento atuais, impulsionados pelo rendimento e pela fidelidade, criaram inadvertidamente uma distribuição onde os sinais estruturais são:

Sobre-marcados: Conversores fiéis (especialmente extratores de PDF baseados em visão) inserem sigilos estruturais (ex: ##, *) em cada fronteira, criando um "atalho" onde os modelos aprendem a depender da presença de um sigilo em vez de inferir a fronteira a partir do conteúdo semântico.
Aplanados: Corpora web históricos (ex: C4) frequentemente removem toda a marcação, mas o texto restante ainda contém "anúncios" (ex: "CAPÍTULO 1" em sua própria linha) que servem como pistas confiáveis.

A hipótese central é que os modelos estão aprendendo a depender da confiabilidade do anúncio (uma linha curta, separada por espaços em branco, indicando uma fronteira) em vez da fidelidade da notação (o sigilo específico usado). Como os corpora atuais carecem de longos trechos de texto onde as fronteiras não são anunciadas, os modelos não são forçados a realizar a inferência necessária para rastrear a estrutura do discurso ao longo de contextos longos.

Metodologia

O artigo emprega uma estratégia de medição de três frentes, seguida pela construção de um novo formato de dados e um conjunto de testes de validação.

1. Frentes de Medição

Frente I: O que os Corpora Carregam (O Censo):
- Métrica: Sobrevivência de Janela Limpa (Clean-Window Survival) $S(W)$ definida, que é a fração de janelas de $W$ -tokens não sobrepostas que contêm nenhuma marcação estrutural (títulos, listas, regras).
- Escopo: Analisou 13 corpora públicos (C4, The Pile, Dolma, FineWeb, olmOCR, etc.) e 3 novos candidatos de suprimento (UK Hansard, transcrições do YouTube, livros anteriores a 1929).
- Descoberta: Corpora web são curtos e limpos ( $S(8192) \approx 0.6-0.9$ ), mas carecem de documentos longos. Corpora derivados de PDF são longos, mas fortemente marcados ( $S(8192) \approx 0.15$ ). O texto "longo e não marcado" verdadeiro (livros) desapareceu em grande parte das misturas modernas.
Frente II: O que os Leitores Usam (A Sondagem):
- Design: Um experimento de três braços em 21 obras usando cinco modelos base (0.6B a 8.2B).
  - Marcado (Marked): Estrutura original com sigilos Markdown.
  - Aplanado (Flat): Sigilos removidos, mas linhas de "anúncio" (ex: "CAPÍTULO 1") mantidas como texto puro.
  - Silencioso (Silent): Linhas de anúncio deletadas inteiramente, deixando apenas parágrafos.
- Métrica: Mudança na dificuldade de predição (NLL) e ganho de informação de longo alcance ao alternar entre os braços.
- Descoberta: Trocar a notação (Marcado vs. Aplanado) tem zero efeito no desempenho do modelo. Deletar o anúncio (Aplanado vs. Silencioso) torna a prosa subsequente mensuravelmente mais difícil de prever, confirmando que o modelo depende da presença do anúncio, não do sigilo.
Frente III: O que os Escritores Impõem (O Teste de Geração):
- Design: Modelos base (decodificação gulosa) continuados a partir das três serializações.
- Métrica: Taxa de reimposição de anúncios estruturais ou marcação.
- Descoberta: Os modelos não reimpoem o registro marcado. Ao serem entregues texto "puro" (sem anúncios), eles não geram os anúncios de volta. Isso sugere que o "registro marcado" não é uma propriedade intrínseca do inventário de pré-treinamento do modelo base, mas um artefato de pós-treinamento ou uma resposta a pistas de entrada.

2. O Formato "Pure Frame" (Moldura Pura)

Com base nas medições, o autor propõe e entrega um novo formato chamado Pure Frame:

Definição: Parágrafos na ordem autoral, separados por linhas em branco únicas.
Deleção: Toda linha de anúncio estrutural (títulos, rótulos, cabeçalhos de página) é deletada.
Sidecar: Cada deleção é registrada em um arquivo sidecar reversível (mapeando o texto deletado à sua posição), garantindo que a transformação seja sem perdas e auditável.
Objetivo: Criar um fluxo de treinamento onde a inferência de fronteira é exigida em vez de opcional, forçando o modelo a aprender a estrutura do discurso a partir do conteúdo.

3. Testes de Validação

Teste de Fabricação: Pre-registro de que os conversores inventariam estrutura na prosa. Resultado: Nulo. Os conversores marcam fielmente as fronteiras existentes e sub-marcam levemente; eles não fabricam.
Teste do Lado do Leitor: Confirmou que o "anúncio" é a pista operativa, não o sigilo.
Teste do Lado do Escritor: Confirmou que os modelos base não reconstroem espontaneamente o registro marcado.

Principais Resultados

O Nulo da Notação: Trocar a notação (ex: ## Capítulo vs. Capítulo) não muda nada. O uso de contexto de longo alcance pelo modelo é invariante ao sigilo.
O Efeito do Anúncio: Remover a linha de anúncio (o texto curto e isolado que indica uma fronteira) aumenta significamente a dificuldade de predição imediatamente após a fronteira. Esse déficit é local (concentrado nos primeiros ~1.000 tokens) e não se acumula ao longo de todo o capítulo.
Escassez de Suprimento: O "formato ausente" (texto longo, coerente e não marcado) é escasso. Não é encontrado em transcrições de consumo (muito curtas) nem em livros com OCR (muito marcados). A única fonte viável identificada são os procedimentos institucionais (ex: UK Hansand), que são longos e não marcados.
Confiabilidade vs. Volume: O artigo argumenta que os modelos aprendem atalhos baseados na confiabilidade (o quão consistentemente uma pista prevê uma fronteira) em vez de volume. Um sigilo estrutural em conversores fiéis é uma pista quase perfeita (confiabilidade $\approx 0.97$ ), tornando-se um "atalho" que evita a necessidade de inferência profunda.

Significância e Alegações

O artigo afirma deslocar o foco da construção de corpora da fidelidade (preservar a aparência original do documento) para o treinamento de capacidade (o que o arranjo ensina ao modelo).

O "Anúncio" é a Pista: A variável operativa é a presença de uma linha de anúncio estrutural, não o caractere de marcação específico.
O "Pure Frame" é a Solução: Para treinar modelos que possam inferir estrutura em vez de apenas reconhecer sigilos, o fluxo de treinamento deve incluir um "pure frame" onde os anúncios são removidos.
Requisito de Data Card: O artigo propõe um novo conjunto de campos para dataset cards (Tabela 10) para registrar a identidade do extrator, o alvo de conversão e a Sobrevivência de Janela Limpa ( $S(W)$ ). Isso permite que a comunidade meça e controle a "confiabilidade" das pistas estruturais em seus corpora.
Escopo Modesto: O autor limita explicitamente suas alegações à prosa narrativa e de argumento sustentado. Ele reconhece que a confiabilidade dos sigilos é menor em escrita técnica ou registros mistos. Nota também que o "pure frame" é um formato de treinamento, não uma edição arquivística, e que o custo da intervenção proposta é baixo (visando a etapa de contexto longo, que é <1% do orçamento total de treinamento).

O artigo conclui que o pipeline atual "acidentalmente" otimizou para a fidelidade, criando uma distribuição onde os modelos aprendem a depender de pistas superficiais. O "Pure Frame" é um operador repetível projetado para reintroduzir a demanda de inferência necessária para uma compreensão estrutural robusta de longo alcance.