Resumo Técnico: Um Estudo Comparativo de Modelos de Linguagem para Resposta a Perguntas com Recuperação Aumentada em Khmer

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) emergiu como um paradigma crítico para fundamentar as saídas de Modelos de Linguagem de Grande Escala (LLM) em evidências recuperadas, reduzindo assim alucinações e melhorando a precisão factual. No entanto, a eficácia da RAG permanece amplamente inexplorada para idiomas de recursos limitados e com scripts não latinos, como o khmer. O khmer apresenta desafios únicos, incluindo um script abugida complexo, recursos anotados limitados, fraca padronização para segmentação de palavras e a presença de ruído de Reconhecimento Óptico de Caracteres (OCR). Em contextos institucionais, como o de telecomunicações, esses desafios são agravados pela necessidade de respostas confiáveis fundamentadas em documentos. As práticas de avaliação existentes são fortemente moldadas por cenários centrados no inglês e não se transferem de forma limpa para esses ambientes. Consequentemente, permanece incerto quais modelos de recuperação, geradores implantáveis localmente e sinais de avaliação automatizada são mais adequados para sistemas de RAG em língua khmer.

Metodologia

Os autores apresentam um estudo sistemático de um pipeline de RAG que preserva a privacidade, projetado para implantação local sobre documentos do domínio de telecomunicações em khmer. A configuração experimental segue um pipeline padrão de duas etapas:

1. Construção do Conjunto de Dados:

   • Corpus: Mais de 7.000 fragmentos derivados de documentos de TIC de código aberto (notificações, leis, diretrizes, etc.), majoritariamente em khmer com termos técnicos em inglês incorporados.
   • Benchmark: Um "conjunto de dados dourado" curado de 200 pares de perguntas e respostas derivados do corpus, cobrindo consultas realistas de cidadãos. Cada entrada inclui a pergunta, uma resposta de verdade fundamental (ground truth) de especialista do domínio e metadados.

2. Avaliação do Recuperador:

   • Três modelos de incorporação densa foram avaliados para recuperar os $k$ fragmentos principais: BGE-M3 (567M), Jina-Embeddings-v3 (570M) e Qwen3-Embedding (597M).
   • O desempenho foi medido usando métricas padrão de Recuperação de Informação (IR): Taxa de Acerto@k, Taxa de Acerto por Arquivo@k, Reciprocidade Média de Rank (MRR@k) e Precisão@k.

3. Avaliação do Gerador:

   • Utilizando o BGE-M3 (identificado como o recuperador superior), cinco backends de geradores foram avaliados: Qwen3 (8B), Qwen3.5 (9B), Sailor2-8B-Chat, SeaLLMs-v3-7B-Chat e Llama-SEA-LION-v2-8B-IT.
   • Os modelos incluíram tanto LLMs multilíngues de propósito geral quanto aqueles focados especificamente em idiomas do Sudeste Asiático.

4. Métricas de Avaliação:

   • Seis métricas inspiradas no RAGAS foram empregadas, utilizando o GPT-4o-mini como juiz de LLM e o BGE-M3 para cálculos de similaridade semântica:
     • Fidelidade: Razão de declarações geradas presentes no contexto recuperado.
     • Relevância da Resposta: Similaridade de cosseno entre a pergunta do usuário e perguntas geradas derivadas da resposta.
     • Relevância do Contexto: Similaridade semântica entre a pergunta e o contexto recuperado.
     • Correção Factual: Pontuação F1 de declarações classificadas como verdadeiras/falsas contra a verdade fundamental.
     • Similaridade da Resposta: Similaridade de incorporação entre a resposta gerada e a verdade fundamental.
     • Correção da Resposta: Uma soma ponderada da correção factual e da similaridade da resposta.

Principais Contribuições

1. Avaliação de Recuperadores: O estudo fornece o primeiro benchmark de recuperação densa para documentos em khmer, analisando a eficácia em texto institucional ruidoso e diversificado por domínio.
2. Comparação de Geradores: Compara cinco modelos de geradores implantáveis localmente para avaliar se a especialização regional (modelos focados no Sudeste Asiático) produz ganhos mensuráveis sobre modelos multilíngues de propósito geral para QA em khmer.
3. Adaptação de Métricas: O artigo examina a utilidade e as limitações de seis métricas adaptadas no estilo RAGAS em um cenário de recursos limitados e script não latino, oferecendo evidências empíricas sobre seu comportamento para o khmer.

Resultados

Desempenho de Recuperação

O BGE-M3 superou consistentemente o Jina-Embeddings-v3 e o Qwen3-Embedding em todas as métricas de recuperação.

• Taxa de Acerto@3: O BGE-M3 alcançou 0,285, mais que o dobro do Jina v3 (0,135) e significativamente maior que o Qwen3-Embedding (0,175).
• Taxa de Acerto por Arquivo@3: O BGE-M3 recuperou um fragmento do arquivo fonte correto 70% das vezes, comparado a 48,5% para o Jina v3 e 52,5% para o Qwen3-Embedding.
• Observação: Curiosamente, o Jina v3 alcançou a maior similaridade de cosseno top-1 (0,759), mas a pior precisão de recuperação, destacando que a similaridade de cosseno bruta não é um indicador confiável da qualidade de recuperação para o khmer.

Desempenho do Gerador

Nenhum modelo único dominou em todas as métricas; o desempenho variou com base na dimensão específica de avaliação:

• Fidelidade: O Qwen3.5-9B alcançou a maior pontuação (0,859), seguido de perto pelo SeaLLMs-v3-7B-Chat (0,846). O Llama-SEA-LION-v2-8B-IT teve a pontuação mais baixa (0,556).
• Relevância da Resposta: O SeaLLMs-v3-7B-Chat performou melhor (0,867), sugerindo que a especialização regional auxilia na resposta temática.
• Relevância do Contexto: As pontuações estiveram fortemente agrupadas (0,717–0,726) em todos os modelos, confirmando que esta métrica é impulsionada principalmente pelo recuperador (BGE-M3) e não pelo gerador.
• Correção Factual: O Qwen3-8B alcançou a maior pontuação (0,380), superando o Qwen3.5-9B (0,303). Isso indica um trade-off onde o modelo Qwen3.5, mais novo e maior, fundamenta-se melhor no contexto, enquanto o Qwen3-8B, ligeiramente menor, reproduz detalhes factuais com maior precisão.
• Similaridade e Correção da Resposta: O SeaLLMs-v3-7B-Chat liderou tanto em Similaridade da Resposta (0,836) quanto em Correção da Resposta (0,599), indicando o melhor equilíbrio geral entre proximidade semântica e adequação factual.

Significado e Afirmações

O artigo afirma que suas descobertas destacam gargalos críticos e nuances na implantação de RAG para idiomas de recursos limitados:

1. A Escolha do Recuperador é um Gargalo Majoritário: A modesta Taxa de Acerto@3 (0,285) mesmo para o melhor recuperador indica que a qualidade da recuperação permanece a principal restrição ao desempenho geral do sistema. O estudo demonstra que métodos validados em inglês (por exemplo, confiar na similaridade de cosseno bruta) não podem ser assumidos como se comportando de forma idêntica para o khmer.
2. Confiabilidade das Métricas: Os autores argumentam que métricas baseadas em veredictos (Fidelidade e Correção Factual) fornecem sinais de avaliação mais confiáveis para texto em khmer do que métricas baseadas em similaridade (Relevância da Resposta, Similaridade da Resposta), que são sensíveis às escolhas de incorporação e às limitações inerentes da similaridade de cosseno. Isso alinha-se com descobertas no domínio de telecomunicações relativas ao julgamento de especialistas.
3. A Especialização do Modelo é Nuanceada: A especialização regional não garante uniformemente desempenho superior. Enquanto o SeaLLMs se destacou em relevância e similaridade, o Qwen3.5 foi superior na fundamentação, e o Qwen3-8B na precisão factual. O impacto do direcionamento regional é fortemente específico do modelo, em vez de um benefício garantido para toda a família.
4. Implantação Prática: O estudo oferece evidências para praticantes de que a seleção de modelos deve ser impulsionada por objetivos específicos: Qwen3.5 para fundamentação, Qwen3-8B para precisão factual e SeaLLMs para qualidade semântica geral.

O artigo conclui observando limitações, incluindo a dependência de avaliação automatizada (sem avaliação humana dedicada para o khmer), parâmetros de recuperação fixos e potenciais vieses de modelos de incorporação centrados no inglês usados no pipeline de avaliação. Trabalhos futuros são propostos para focar em recuperação híbrida, tokenização específica para khmer e estudos de avaliação humana.