Resumo Técnico: TF1-EN-3M

Declaração do Problema

Embora histórias morais (fábulas) sejam um meio comprovado para transmitir valores, o Processamento de Linguagem Natural (PLN) moderno carece de um corpus estruturado e em grande escala que acople narrativas coerentes a lições éticas explícitas. Coleções clássicas existentes (por exemplo, Fábulas de Esopo) são muito pequenas para modelagem orientada a dados, e a geração atual de dados sintéticos frequentemente carece do rigor estrutural específico necessário para tarefas de raciocínio moral. Além disso, há uma necessidade de determinar se modelos de linguagem (LLMs) compactos e de pesos abertos, executados em hardware de consumo, podem gerar narrativas instrutivas e de alta qualidade de forma confiável, sem depender de modelos gigantes proprietários ou de infraestrutura de avaliação baseada em APIs caras.

Metodologia

1. Design de Prompt e Geração de Dados

Os autores desenvolveram um motor de prompts combinatório para gerar 3.000.000 fábulas únicas em inglês. O processo de geração baseia-se em uma estrutura de seis slots derivada da teoria narrativa:

• Personagem: Protagonista (por exemplo, arquétipo animal ou humano).
• Traço: Um atributo definidor (por exemplo, ganancioso, bondoso).
• Cenário: Localização contextual.
• Conflito: O desafio ou dilema central.
• Resolução: O resultado que demonstra um julgamento moral.
• Moral: A lição ética explícita.

O espaço de entrada é definido pelo produto cartesiano de listas curadas para cada slot ($T = n \times m \times k \times c \times r \times l$), onde cada parâmetro foi definido com 100 opções. Para garantir a qualidade, o sistema emprega:

• Mensagens do Sistema: Enquadramento da tarefa como escrita de fábulas morais com restrições específicas de tom, público-alvo (focando em idades de 4 a 7 anos) e estrutura.
• Restrições Estilísticas: Instruções para "mostrar, não contar", evitar nomes de personagens, usar vocabulário simples e manter um comprimento conciso (~250 palavras).
• Medidas de Segurança na Amostragem: Amostragem aleatória uniforme com deduplicação, filtragem de frequência para combinações comuns e balanceamento de cobertura para garantir que cada slot apareça igualmente.

2. Estrutura de Avaliação

Para selecionar o gerador ótimo, os autores avaliaram dez LLMs de pesos abertos e ajustados para instruções (variando de 1B a 32B parâmetros) usando um pipeline multifacetado:

• Painel de Julgadores Múltiplos LLM: Três modelos de pesos abertos de famílias distintas (Granite 4.1 30B, EXAONE 3.5 32B e Granite 3.3 8B) pontuaram 1.000 fábulas geradas cada em quatro dimensões: Gramática e Estilo, Criatividade, Clareza Moral e Adesão ao Prompt.
• Métricas sem Referência: Estatísticas em nível de corpus, incluindo Self-BLEU (diversidade), Distinct-1 (riqueza lexical) e Facilidade de Leitura Flesch (legibilidade).
• Classificação por Faixa Etária: Um classificador LLM atribuiu cada história a uma de cinco faixas etárias (A–E) para verificar o alinhamento com o demográfico alvo (4–7 anos).
• Pontuação Composta: Uma pontuação ponderada ($W_m$) foi calculada, priorizando Adesão ao Prompt (0,35) e Clareza Moral (0,20), seguidas por Gramática, Criatividade e as métricas sem referência.

3. Seleção de Modelo

Dez candidatos foram testados, incluindo variantes de Llama-3, Mistral, Qwen, Falcon e Phi. Embora o Llama-3.1-Tulu-3-8B tenha alcançado a maior pontuação composta (0,957) com base em métricas brutas, o Llama-3.1-8B-Instruct foi selecionado para a geração em escala total. Esta decisão foi motivada pelo seu superior alinhamento com o grupo etário alvo (92% de suas saídas foram classificadas como adequadas para idades de 4 a 7 anos) e pelo seu favorável compromisso qualidade-custo em hardware de consumo.

Principais Contribuições

1. Conjunto de Dados TF1-EN-3M: O lançamento do primeiro conjunto de dados aberto em grande escala de fábulas sintéticas em inglês, contendo 3 milhões de histórias. Cada entrada inclui a narrativa, o prompt estruturado e metadados de geração (contagens de tokens, latência, custo, especificações de hardware).
2. Geração Eficiente de Pesos Abertos: Demonstração de que conteúdo instrutivo e de alta qualidade pode ser gerado em escala usando modelos com 1 a 8 bilhões de parâmetros. Todo o corpus foi gerado por aproximadamente $405,76 (aproximadamente $0,135 por 1.000 fábulas) em hardware de nível de consumo.
3. Avaliação Reprodutível com Múltiplos Julgadores: Uma estrutura totalmente reprodutível usando um painel de julgadores LLM de pesos abertos de famílias distintas, combinado com métricas sem referência. Esta abordagem evita a dependência de infraestrutura de avaliação proprietária, ao mesmo tempo que mitiga o viés de preferência própria.

Resultados

• Qualidade do Conjunto de Dados: O corpus final exibe alta diversidade lexical (Distinct-1 = 0,452) e legibilidade (pontuação de Facilidade de Leitura Flesch de 78,9, correspondendo a um nível de 5,5ª série), alinhando-se com o público-alvo de jovens leitores. A detecção de quase-duplicatas confirmou que a abordagem combinatória produziu narrativas genuinamente distintas.
• Desempenho do Modelo: Modelos modernos ajustados para instruções de 7–8B convergiram em qualidade, com os melhores desempenhos (Llama-3.1-Tulu-3-8B, Falcon3-7B-Instruct, Llama-3.1-8B-Instruct) pontuando altamente em todos os eixos. Modelos menores (por exemplo, 1B–3B) mostraram forte potencial para aplicações de baixa latência.
• Confiabilidade da Avaliação: O painel de julgadores de pesos abertos mostrou forte concordância de ordem de classificação com um julgador proprietário (GPT-o4-mini), com um $\tau$ de Kendall de 0,78, validando que modelos abertos podem substituir infraestrutura de avaliação proprietária na seleção de modelos.
• Segurança do Conteúdo: Uma verificação de segurança de 5.000 amostras revelou que 87,8% não continham palavras-chave sinalizadas. Os termos sinalizados restantes (por exemplo, "roubar", "brigar") apareceram em contextos didáticos reforçando valores pró-sociais, sem conteúdo grave detectado.

Significado e Alegações

O artigo afirma que o TF1-EN-3M abre novas vias para pesquisa em seguimento de instruções, inteligência narrativa, alinhamento de valores e IA educacional amigável para crianças. Os autores afirmam que a narrativa moral em grande escala não requer modelos gigantes proprietários ou infraestrutura de avaliação cara.

Ao fornecer um recurso que acopla narrativas coerentes a lições éticas explícitas, o conjunto de dados permite:

• Ajuste fino de modelos menores para geração de fábulas e avaliação de raciocínio moral.
• Treinamento de classificadores ou modelos de QA em conteúdo moral.
• Avaliação de modelos generativos em alinhamento narrativo e raciocínio de senso comum.

O trabalho enfatiza que, com engenharia de prompts focada e pipelines curados, modelos abertos de tamanho médio podem produzir narrativas diversas e tematicamente éticas, tornando a IA carregada de valores mais acessível e socialmente fundamentada. Os autores observam explicitamente limitações, reconhecendo que o conjunto de dados reflete tradições de fábulas ocidentais e pode carecer de nuances para dilemas éticos contemporâneos complexos, sugerindo que trabalhos futuros devem explorar morals de múltiplas camadas e contextos culturais diversos.