Resumo Técnico: Os LLMs Têm Ritmo? Filtragem Fonológica Híbrida para a Poesia Grega

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs), apesar de sua proficiência em tarefas gerais de PLN, exibem deficiências significativas em fenômenos fonologicamente fundamentados, especificamente na detecção e geração de rimas. Esta limitação é particularmente aguda no Grego Moderno, uma língua de baixos recursos onde a rima é um pilar estrutural da poesia que varia desde o Renascimento Cretense até o hip-hop contemporâneo.

O problema central decorre do desalinhamento entre a tokenização do LLM (baseada em coocorrência estatística, ex: BPE ou WordPiece) e as unidades fonológicas (sílabas, padrões de acentuação e domínios de rima). No grego, a ortografia histórica cria mapeamentos de muitos-para-um (ex: o som /i/ pode ser grafado de seis maneiras diferentes), e a rima é estritamente definida pela posição do acento (Masculina, Feminina-2, Feminina-3). Os LLMs frequentemente dependem de semelhança visual ("rima visual") em vez de identidade fonética, levando a falhas ao distinguir pares mínimos que diferem apenas no acento ou ao gerar estruturas de rima válidas. A geração pura por LLM para tarefas poéticas de restrição foi constatada como um fracasso catastrófico, com taxas de validade inferiores a 4%.

Metodologia: Arquitetura Neuro-Simbólica Híbrida

Os autores propõem um sistema híbrido que integra as capacidades generativas e de raciocínio dos LLMs com algoritmos fonológicos determinísticos baseados em regras. A arquitetura consiste em dois componentes primários:

1. O Motor Fonológico (Verificador Simbólico)

Baseado no framework teórico de Topintzi et al. (2019), este módulo realiza o processamento determinístico:

• Silabificação: Identifica fronteiras silábicas baseadas em restrições fonotáticas específicas do grego.
• Detecção de Acento: Utiliza marcas de acentuação ortográfica gregas para identificar o acento, lidando com a extensão clítica (ex: pronomes de objeto fracos).
• Extração de Domínio de Rima: Define o domínio da rima desde a vogal tônica até o fim da frase fonológica, capaz de abranger múltiplas palavras (Rimas de Mosaico).
• Transcrição Fonética: Converte a ortografia para representação fonética para contornar discrepâncias visuais.
• Classificação: Atribui rótulos compostos (ex: F2-TR-S-IDV) baseados na posição do acento, correspondência de ataque (rimas Ricas), vogais pré-acento (IDV) e imperfeições.

2. Integração de LLM e Pipeline Agêntico

O sistema avalia múltiplas estratégias de prompting (Zero-Shot, Chain-of-Thought, RAG-augmented) através de modelos proprietários (Claude 3.7/4.5, GPT-4o, Gemini 2.0) e modelos de pesos abertos (Llama 3.1/3.3, Mistral Large).

Para a Geração de Rimas, os autores implementam um Loop Agêntico de Geração-Verificação-Refinamento:

1. Gerar: O LLM produz um rascunho de poema baseado em um tema e restrições de rima.
2. Verificar: O Motor Fonológico verifica cada par de rimas contra as regras.
3. Refinar: Se erros forem detectados, o motor formata um feedback específico (ex: "Erro de acento: Esperado F3, encontrado F2") e atualiza o prompt para que o LLM regenere.
   Este loop executa por até 15 tentativas antes de retornar um resultado ou um aviso.

Principais Contribuições

1. Dataset: Um corpus curado de mais de 40.000 rimas agregadas do arquivo Anemoskala e de um dataset de Poesia do Período Entre Guerras, padronizado e anotado de acordo com uma taxonomia abrangente de rima grega.
2. Sistema de Detecção Híbrido: Um sistema que combina prompting de LLM com verificação baseada em regras, alcançando 100% de precisão de verificação comparado a um máximo de 54% para abordagens de LLM puro.
3. Pipeline de Geração Agêntica: Um loop que eleva a validade dos poemas gerados de quase 0% para 73,1% ao impor restrições fonológicas estritas.
4. Avaliação Multi-Modelo: Um benchmark abrangente através de oito modelos e quatro configurações de prompting, destacando o "Gap de Raciocínio" em tarefas fonológicas.

Resultados

Identificação de Rima

• Gap de Raciocínio: Existe uma disparidade significativa de desempenho entre modelos baseada em prompting. O Claude 4.5 alcançou 53,8% de precisão com CoT (Chain-of-Thought) e RAG, comparado a 26,9% sem CoT. Abordagens de LLM puro geralmente tiveram dificuldades, com modelos de pesos abertos performando mal (ex: Llama 3.1 8B com 3,8–15,4%).
• Sensibilidade ao Acento: Todos os modelos tiveram maior dificuldade com rimas Femininas-3 (proparoxítonas), com precisão frequentemente abaixo de 22%.

3. Detecção de Características: Rimas de Mosaico (que abrangem fronteiras de palavras) foram indetectáveis por qualquer modelo em correspondência de características quantitativas (0% de precisão), embora o Claude 4.5 com CoT+RAG tenha mostrado sucesso qualitativo em análise qualitativa.

• Tamanho do Modelo: Modelos maiores (Llama 3.1 70B) superaram significativamente variantes menores (Llama 3.1 8B), sugerindo que a detecção de rima em grego beneficia-se do aumento de contagem de parâmetros.

Geração de Rima

• Melhoria de Validade: A geração pura de LLM resultou em 0–4% de poemas válidos. A inclusão do loop de verificação aumentou a validade para 73,1% para o Claude 3.7, 42,3% para o GPT-4o e 34,6% para o Claude 4.5.
• Correção de Erros: O loop corrigiu com sucesso discrepâncias de padrão de acento (ex: mudando de F2 para F3), refinou a precisão de características (distinguindo rimas Ricas de Puras) e eliminou pares não rimados.
• Criatividade vs. Alucinação: O loop de verificação incentivou modelos capazes (particularmente o Claude 4.5) a gerar neologismos plausíveis (ex: pyrafí para "cor de fogo") quando o vocabulário padrão falhava, em vez de produzir algo sem sentido. Isso sugere um trade-off onde restrições estritas impulsionam a invenção morfológica criativa.

Significância e Alegações

O artigo postula que os LLMs carecem fundamentalmente de consciência fonológica de sub-tokens necessária para tarefas poéticas rigorosas, particularmente em línguas com relações ortografia-acento complexas como o Grego Moderno. Os autores alegam que arquiteturas neuro-simbólicas híbridas são essenciais para dominar essas nuances estruturais.

Ao desacoplar o raciocínio (LLM) da pontuação fonológica (Motor Simbólico), o sistema aproveita a riqueza semântica e a criatividade dos LLMs enquanto delega as restrições computacionais precisas a um módulo determinístico. Os autores concluem que, embora os LLMs possuam capacidades criativas latentes, eles não podem satisfazer independentemente as restrições fonológicas estritas da poesia sem verificação externa. O código-fonte liberado e o corpus de mais de 40.000 rimas são apresentados como recursos fundamentais para pesquisas futuras em PLN fonologicamente consciente e geração de poesia em línguas de baixos recursos.

Os autores mantêm-se modestos quanto às limitações, observando que seu corpus é menor do que os disponíveis para línguas de altos recursos e que o processo de verificação iterativo introduz overhead computacional em comparação com a inferência de passagem única. O trabalho futuro é proposto para estender isso à verificação métrica e ao Aprendizado por Reforço com Feedback Fonológico (RLPF).