CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context

1. O Problema

Atualmente, a avaliação da capacidade de modelos de linguagem grandes (LLMs) seguirem instruções (instruction-following) é dominada por benchmarks em inglês (como IFEval) ou por conjuntos de dados multilingues baseados em tradução direta (como Multi-IF). Essas abordagens apresentam lacunas críticas para o Português Brasileiro (PT-BR):

• Falta de Especificidade Linguística: A tradução de instruções em inglês não captura fenômenos morfológicos ricos e exclusivos do português, como o sistema de diminutivos (-inho/-zinha), gerúndios (-ando/-endo/-indo) e formação de advérbios (-mente).
• Desconexão Cultural: Instruções traduzidas frequentemente refletem normas retóricas e convenções de discurso anglófonas, ignorando o contexto cultural e literário brasileiro.
• Limitações de Avaliação: A maioria dos benchmarks existentes não avalia adequadamente a persistência de restrições em conversas multi-turno ou não oferece verificação automática e determinística sem depender de juízes humanos ou LLMs subjetivos.

2. Metodologia e Design do CAPITU

O CAPITU (Contextual Assessment of Portuguese Instruction-following Through Literary Understanding) é um benchmark nativo projetado para o PT-BR, com os seguintes pilares metodológicos:

• Contextualização Literária: Todas as tarefas são enraizadas em 8 obras canônicas da literatura brasileira (incluindo Dom Casmurro, Grande Sertão: Veredas, Iracema, etc.), cobrindo movimentos do Romantismo ao Modernismo. Isso fornece cenários naturais e coerentes para geração de texto.
• Taxonomia de Instruções: O benchmark define 59 tipos de instruções organizadas em 7 categorias:
  1. Contagem: Palavras, sentenças, parágrafos, caracteres.
  2. Palavras: Inclusão de palavras específicas, frequência, conectivos.
  3. Padrão (Morfologia): Restrições de terminação de palavras específicas do português (ex: -ando, -inho, -mente, -ão).
  4. Proibição: Palavras proibidas, evitar primeira pessoa, evitar números.
  5. Estrutura: Início/fim com palavra específica, acrósticos, prefixos de linha.
  6. Pontuação: Uso de ponto e vírgula, apenas declarativas, etc.
  7. Formatação: Listas, maiúsculas/minúsculas.
• Verificação Automática: Um princípio central é que todas as 59 instruções são verificáveis programaticamente (via expressões regulares, operações de string e correspondência de léxico fechado), eliminando a necessidade de juízes humanos ou LLMs para validar a conformidade.
• Pipeline de Geração: As prompts são geradas programaticamente combinando templates de tarefas literárias com instruções variadas, sem envolvimento de LLMs na criação das prompts.
• Avaliação Multi-turno: Inclui 100 diálogos de 3 turnos cada, onde as instruções se acumulam progressivamente, testando a persistência das restrições ao longo da conversa.
• Métricas:
  • Strict Accuracy: Conformidade exata na resposta original.
  • Loose Accuracy: Testa variações da resposta (remoção de linhas, limpeza de markdown).
  • Coerência: Uma pontuação opcional (0-1) atribuída por um LLM para penalizar respostas degeneradas (ex: repetir uma palavra 80 vezes para atender a um limite de contagem), calculando uma pontuação final ponderada (2:1) entre conformidade e coerência.

3. Principais Contribuições

1. Primeiro Benchmark Nativo de PT-BR: Uma taxonomia de 59 tipos de instruções verificáveis, incluindo padrões morfológicos exclusivos do português.
2. Fundamentação Cultural: Integração de tarefas com obras literárias brasileiras clássicas, oferecendo cenários linguisticamente ricos e culturalmente relevantes.
3. Avaliação Multidimensional: Suporte a níveis de dificuldade (1 a 4 restrições simultâneas), avaliação de conversas multi-turno e pontuação de coerência.
4. Recursos Abertos: Disponibilização de 500 prompts (200 single-turn, 300 multi-turn), código de avaliação e resultados de linha de base para 18 modelos.

4. Resultados Experimentais

O estudo avaliou 18 modelos de última geração, incluindo famílias proprietárias (GPT-5, Gemini 3, Claude 4.5), modelos open-weight (Qwen 3) e modelos especializados em português (Sabiá da Maritaca AI).

• Desempenho Geral: Modelos com capacidades de raciocínio (reasoning) lideraram. O GPT-5.2 (com esforço de raciocínio alto) alcançou 98,5% de precisão estrita em single-turn, seguido pelo GPT-5 e GPT-5-mini (98,0%).
• Modelos Especializados: O modelo Sabiazinho-4 (especializado em PT-BR) obteve 87,0% de precisão estrita, superando o Claude-Sonnet-4.5 (86,0%) e o Claude-Haiku-4.5 (73,5%), com uma relação custo-benefício significativamente superior (custo 8,6x menor que o Haiku).
• Dificuldade e Degradação:
  • Instruções de "Proibição" foram as mais fáceis (99,1% de média).
  • Padrões morfológicos e estruturais foram os mais difíceis.
  • A precisão cai drasticamente com o aumento da dificuldade: modelos como o GPT-5.2 (sem raciocínio) caíram de 100% (fácil) para 81,7% (difícil).
• Multi-turno: Revelou desafios significativos na persistência de restrições. A precisão da conversa variou de 60% a 96%. O GPT-5-mini destacou-se com 96% de precisão em conversas completas.
• Erros Comuns: Falhas em contagem exata de palavras (21,1% de precisão média), planejamento de acrósticos e violação de limites morfológicos (ex: uso excessivo de gerúndios em análises literárias).

5. Significado e Conclusão

O CAPITU estabelece um novo padrão para a avaliação de LLMs em Português Brasileiro, demonstrando que:

• A tradução de benchmarks de inglês é insuficiente para capturar a complexidade morfológica e cultural do português.
• Modelos especializados em português podem competir com modelos globais de ponta em tarefas de seguimento de instruções, oferecendo vantagens de custo.
• O raciocínio explícito (reasoning) é crucial para lidar com múltiplas restrições simultâneas e manter a coerência em conversas longas.
• Existem desafios persistentes na geração de texto sob restrições estruturais rígidas e na persistência de instruções em diálogos multi-turno.

O benchmark é disponibilizado publicamente para fomentar pesquisas em PLN em português e melhorar a robustez e o controle de modelos de linguagem na língua portuguesa.