Resumo Técnico: Satisfação de Restrições Ortográficas e Alinhamento com Dificuldade Humana em Modelos de Linguagem de Grande Escala

1. Declaração do Problema

Os modelos de linguagem de grande escala (LLMs) enfrentam um desafio fundamental ao gerar texto sob restrições ortográficas rígidas: satisfazer regras discretas em nível de caractere enquanto navegam por grandes espaços combinatórios. Diferentemente do casamento de padrões semânticos, que domina o treinamento de LLMs, a geração sob restrição exige adesão estrita à validade estrutural (por exemplo, usar apenas um conjunto específico de letras, incluir um caractere obrigatório e atender a requisitos mínimos de comprimento).

Existe uma tensão central entre plausibilidade distribucional e validade estrutural. Modelos treinados em padrões distribucionais podem atribuir baixas probabilidades de geração a soluções válidas sob restrição que exibem padrões ortográficos atípicos (por exemplo, consoantes duplicadas ou repetições específicas de letras), mesmo que essas palavras sejam frequentes nos dados de treinamento. Embora trabalhos anteriores tenham examinado restrições semânticas ou utilizado garantias no momento da decodificação (por exemplo, Busca em Feixe em Grade), há uma falta de avaliação sistemática sobre como modelos ajustados por instruções lidam com restrições ortográficas rígidas em configurações de vocabulário aberto sem mecanismos de aplicação externos. Além disso, a interação entre a escala do modelo, orçamentos computacionais (tokens de raciocínio) e dificuldade calibrada por humanos permanece pouco explorada.

2. Metodologia

Os autores avaliam 39 configurações de modelo em três famílias (Qwen3, Claude Haiku 4.5 e GPT-5-mini) em 58 quebra-cabeças do Spelling Bee do New York Times.

Definição da Tarefa

Os modelos são encarregados de gerar palavras em inglês usando um conjunto específico de sete letras, onde uma letra é obrigatória. Saídas válidas devem:

1. Conter pelo menos quatro letras.
2. Usar apenas as sete letras fornecidas (repetição permitida).
3. Incluir a letra central obrigatória.
4. (Bônus) Usar todas as sete letras para formar "pangramas".

Configuração Experimental

• Modelos:
  • Qwen3: Cinco modelos de código aberto (4B, 8B, 14B, 32B densos; 30B-A3B Mixture-of-Experts). Testados em modos de geração direta e "pensamento" com orçamentos de 4K, 8K e 16K tokens.
  • Claude Haiku 4.5: Modelo proprietário testado em modos de pensamento direto e estendido com orçamentos de 4K, 8K e 16K.
  • GPT-5-mini: Modelo proprietário testado em três níveis de esforço de raciocínio (mapeados para orçamentos aproximados de tokens).
• Prompting: Prompts zero-shot listam explicitamente as restrições sem revelar contagens de soluções ou comprimentos de saída esperados, para isolar capacidades intrínsecas de tratamento de restrições.
• Base de Dificuldade Humana: O estudo utiliza dados agregados de desempenho de 10.000 solucionadores humanos por quebra-cabeça para estabelecer métricas de dificuldade de verdade fundamental (taxas de sucesso variando de 3% a 97%).
• Métricas: Precisão, Revocação (Recall) e pontuação F1. Adicionalmente, o estudo mede força de calibração (correlação de posto de Spearman entre dificuldade humana e taxas de erro do modelo) e revocação estratificada por comprimento.

3. Contribuições Principais

1. Caracterização de Desempenho entre Famílias: O estudo demonstra que as diferenças entre famílias de modelos são substancialmente maiores (lacuna de 2,0–2,2× no F1) do que os ganhos alcançados através da escalagem de parâmetros dentro de uma única família (ganho de 83% de 4B para 32B no Qwen). Essa lacuna é impulsionada principalmente pela revocação e não pela precisão.
2. Sensibilidade Heterogênea ao Orçamento: O impacto dos orçamentos de "pensamento" não é uniforme. Modelos de alta capacidade mostram retornos fortes com aumento de computação, enquanto modelos de tamanho médio (por exemplo, Qwen-14B) podem se degradar com alocação aumentada, e modelos menores não mostram sensibilidade.
3. Alinhamento com Dificuldade Humana e Análise de Falhas: Usando dados humanos em grande escala, os autores estabelecem calibração modesta, mas consistente (ρ = 0,28–0,42) entre famílias. Crucialmente, identificam falhas sistemáticas em palavras comuns com ortografia incomum (por exemplo, "data", "loll", "acai") onde o sucesso humano é alto (>80%) mas as taxas de erro do modelo são extremas (>92%).

4. Resultados Principais

Escalonamento entre Famílias vs. Dentro de Famílias

• Lacuna de Desempenho: Modelos proprietários (GPT-5-mini, Claude Haiku) alcançam pontuações F1 2,0–2,2× maiores que a maior configuração de código aberto Qwen3 (32B).
• Revocação vs. Precisão: A lacuna de desempenho é impulsionada pela revocação (Proprietário: 68% vs. Qwen-32B: ~23%), enquanto as diferenças de precisão são modestas (9 pontos percentuais).
• Revocação de Pangramas: A lacuna amplia-se significativamente para restrições complexas; o GPT-5-mini alcança 77,6% de revocação de pangramas versus 15,8% para o Qwen-32B.
• Confound de Tokenização: Uma análise de correlação parcial descarta o design do tokenizador como o principal confundidor para diferenças de escalagem dentro da família.

Sensibilidade ao Orçamento

• Modelos de Alta Capacidade: Variantes Qwen densas (32B) e MoE (30B), juntamente com modelos proprietários, mostram retornos positivos com orçamentos de pensamento aumentados. A variante MoE 30B (com apenas 3B de parâmetros ativos) mostra a dependência mais forte, exigindo orçamento substancial para compensar capacidade efetiva limitada.
• Degradação de Tamanho Médio: O modelo Qwen-14B exibe degradação paradoxal, onde o desempenho cai à medida que o orçamento de raciocínio aumenta. Os autores sugerem que isso pode ser devido à amplificação da plausibilidade distribucional sem melhoria proporcional na verificação de restrições.
• Insensibilidade de Modelos Pequenos: Modelos menores (4B, 8B) mostram desempenho plano em todos os orçamentos, frequentemente falhando em gerar qualquer palavra válida em 51% dos quebra-cabeças sem o modo de pensamento.

Alinhamento com Dificuldade Humana

• Calibração: Há uma correlação modesta entre dificuldade humana e taxas de erro do modelo (ρ = 0,28–0,42). Modelos proprietários mostram maior alinhamento que seus equivalentes de código aberto.
• Falhas Sistemáticas: Os modelos falham consistentemente em palavras comuns com padrões ortográficos específicos:
  • Consoantes Duplicadas: "illicit", "loll", "annotation".
  • Letras Repetidas: "papa", "nana", "toon".
  • Padrões Atípicos/Empréstimos: "data", "acai".
  • Observação: Essas palavras são frequentes nos dados de treinamento, mas são perdidas porque seus padrões ortográficos estão sub-representados em relação à sua frequência ou violam os priores distribucionais aprendidos pelo modelo.

Degradação Dependente do Comprimento

• Humano vs. Modelo: O sucesso humano declina suavemente com o comprimento da palavra (queda de 1,3× de palavras de 4 letras para palavras de 7+ letras).
• Colapso do Modelo: Os modelos mostram degradação catastrófica com o comprimento, variando de quedas de 1,5× a mais de 71× na revocação dependendo da capacidade. Isso sugere uma falta de robustez no manuseio de complexidade combinatória crescente em comparação com estratégias de memória de trabalho humanas.

5. Significado e Alegações

O artigo alega que as arquiteturas atuais de LLMs exibem um excesso sistemático de dependência da plausibilidade distribucional, o que penaliza padrões ortograficamente atípicos, mas válidos sob restrição. As descobertas sugerem que:

1. Satisfação de Restrições é Distinta: Satisfazer restrições ortográficas rígidas envolve mecanismos diferentes da geração de linguagem natural, revelando gargalos na memória de trabalho e enumeração sistemática que não são resolvidos apenas pela escalagem de parâmetros.
2. Arquitetura Importa Mais que Escala: Diferenças arquitetônicas entre famílias (provavelmente envolvendo composição de dados de treinamento ou otimização) são mais críticas para a satisfação de restrições do que aumentar contagens de parâmetros dentro de uma família.
3. A Alocação de Orçamento é Não-Linear: Aumentar orçamentos computacionais não melhora universalmente o desempenho; para alguns modelos, isso exacerba falhas ao amplificar vieses distribucionais.
4. Direções Futuras: Os autores propõem que abordar essas questões requer módulos de verificação explícitos independentes de priores distribucionais, objetivos de treinamento que recompensem soluções ortograficamente incomuns e políticas de alocação de orçamento específicas para cada modelo. Eles também observam que essas descobertas podem generalizar-se para outros domínios restritos, como síntese de código e geração de dados estruturados, onde saídas corretas podem ser atípicas distribucionalmente.

O estudo conclui que, embora os modelos possam satisfazer restrições, eles o fazem com uma fragilidade que difere significativamente da cognição humana, particularmente no que diz respeito à verificação da validade estrutural contra priores estatísticos aprendidos.