Resumen Técnico: Un Estudio Comparativo de Modelos de Lenguaje para la Respuesta a Preguntas Aumentada por Recuperación en Camboyano

Declaración del Problema

La Generación Aumentada por Recuperación (RAG) ha surgido como un paradigma crítico para fundamentar las salidas de los Modelos de Lenguaje de Gran Escala (LLM) en evidencia recuperada, reduciendo así las alucinaciones y mejorando la precisión factual. Sin embargo, la eficacia de RAG permanece en gran medida sin examinar para idiomas de recursos limitados y de escritura no latina como el camboyano. El camboyano presenta desafíos únicos, incluyendo una compleja escritura Abugida, recursos anotados limitados, una estandarización débil para la segmentación de palabras y la presencia de ruido en el Reconocimiento Óptico de Caracteres (OCR). En entornos institucionales, como las telecomunicaciones, estos desafíos se ven agravados por la necesidad de respuestas confiables fundamentadas en documentos. Las prácticas de evaluación existentes están fuertemente moldeadas por entornos centrados en el inglés y no se transfieren limpiamente a estos entornos. En consecuencia, sigue sin estar claro qué modelos de recuperación, generadores desplegable localmente y señales de evaluación automatizada son más adecuados para los sistemas de RAG en idioma camboyano.

Metodología

Los autores presentan un estudio sistemático de una tubería RAG que preserva la privacidad, diseñada para un despliegue alojado localmente sobre documentos del dominio de telecomunicaciones en camboyano. La configuración experimental sigue una tubería estándar de dos etapas:

1. Construcción del Conjunto de Datos:

   • Corpus: Más de 7.000 fragmentos derivados de documentos de TIC de código abierto (notificaciones, leyes, directrices, etc.), mayoritariamente en camboyano con términos técnicos en inglés incrustados.
   • Punto de Referencia: Un "conjunto de datos dorado" curado de 200 pares de preguntas y respuestas derivados del corpus, que cubren consultas realistas de ciudadanos. Cada entrada incluye la pregunta, una respuesta de verdad fundamental de un experto en la materia y metadatos.

2. Evaluación del Recuperador:

   • Se evaluaron tres modelos de incrustación densa para recuperar los fragmentos superiores-$k$: BGE-M3 (567M), Jina-Embeddings-v3 (570M) y Qwen3-Embedding (597M).
   • El rendimiento se midió utilizando métricas estándar de Recuperación de Información (IR): Tasa de Aciertos@k, Tasa de Aciertos a Nivel de Archivo@k, Recíproco Medio de Rango (MRR@k) y Precisión@k.

3. Evaluación del Generador:

   • Utilizando BGE-M3 (identificado como el recuperador superior), se evaluaron cinco backends de generadores: Qwen3 (8B), Qwen3.5 (9B), Sailor2-8B-Chat, SeaLLMs-v3-7B-Chat y Llama-SEA-LION-v2-8B-IT.
   • Los modelos incluyeron tanto LLMs multilingües de propósito general como aquellos enfocados específicamente en idiomas del sudeste asiático.

4. Métricas de Evaluación:

   • Se emplearon seis métricas inspiradas en RAGAS, utilizando GPT-4o-mini como juez LLM y BGE-M3 para cálculos de similitud semántica:
     • Fidelidad: Proporción de declaraciones generadas presentes en el contexto recuperado.
     • Relevancia de la Respuesta: Similitud coseno entre la pregunta del usuario y las preguntas generadas derivadas de la respuesta.
     • Relevancia del Contexto: Similitud semántica entre la pregunta y el contexto recuperado.
     • Correctitud Factual: Puntuación F1 de declaraciones clasificadas como verdaderas/falsas frente a la verdad fundamental.
     • Similitud de la Respuesta: Similitud de incrustación entre la respuesta generada y la verdad fundamental.
     • Correctitud de la Respuesta: Una suma ponderada de la correctitud factual y la similitud de la respuesta.

Contribuciones Clave

1. Evaluación de Recuperadores: El estudio proporciona la primera evaluación de recuperación densa para documentos en camboyano, analizando la eficacia en texto institucional ruidoso y diverso en dominios.
2. Comparación de Generadores: Compara cinco modelos de generadores desplegable localmente para evaluar si la especialización regional (modelos enfocados en el sudeste asiático) produce ganancias medibles sobre los modelos multilingües de propósito general para la respuesta a preguntas en camboyano.
3. Adaptación de Métricas: El artículo examina la utilidad y las limitaciones de seis métricas adaptadas al estilo RAGAS en un entorno de recursos limitados y de escritura no latina, ofreciendo evidencia empírica sobre su comportamiento para el camboyano.

Resultados

Rendimiento de Recuperación

BGE-M3 superó consistentemente a Jina-Embeddings-v3 y Qwen3-Embedding en todas las métricas de recuperación.

• Tasa de Aciertos@3: BGE-M3 logró 0.285, más del doble que Jina v3 (0.135) y significativamente superior a Qwen3-Embedding (0.175).
• Tasa de Aciertos a Nivel de Archivo@3: BGE-M3 recuperó un fragmento del archivo fuente correcto el 70% de las veces, en comparación con el 48.5% para Jina v3 y el 52.5% para Qwen3-Embedding.
• Observación: Curiosamente, Jina v3 logró la mayor similitud coseno top-1 (0.759) pero la peor precisión de recuperación, destacando que la similitud coseno cruda no es un indicador fiable de la calidad de recuperación para el camboyano.

Rendimiento del Generador

Ningún modelo único dominó en todas las métricas; el rendimiento varió según la dimensión de evaluación específica:

• Fidelidad: Qwen3.5-9B logró la puntuación más alta (0.859), seguido de cerca por SeaLLMs-v3-7B-Chat (0.846). Llama-SEA-LION-v2-8B-IT obtuvo la puntuación más baja (0.556).
• Relevancia de la Respuesta: SeaLLMs-v3-7B-Chat tuvo el mejor desempeño (0.867), lo que sugiere que la especialización regional ayuda a la respuesta temática.
• Relevancia del Contexto: Las puntuaciones estaban estrechamente agrupadas (0.717–0.726) en todos los modelos, confirmando que esta métrica es impulsada principalmente por el recuperador (BGE-M3) y no por el generador.
• Correctitud Factual: Qwen3-8B logró la puntuación más alta (0.380), superando a Qwen3.5-9B (0.303). Esto indica un compromiso donde el modelo Qwen3.5 más nuevo y grande se fundamenta mejor en el contexto, mientras que el Qwen3-8B ligeramente más pequeño reproduce detalles factuales con mayor precisión.
• Similitud y Correctitud de la Respuesta: SeaLLMs-v3-7B-Chat lideró tanto en Similitud de la Respuesta (0.836) como en Correctitud de la Respuesta (0.599), indicando el mejor equilibrio general entre cercanía semántica y adecuación factual.

Significado y Afirmaciones

El artículo afirma que sus hallazgos destacan cuellos de botella críticos y matices en el despliegue de RAG para idiomas de recursos limitados:

1. La Elección del Recuperador es un Cuello de Botella Mayor: La modesta Tasa de Aciertos@3 (0.285) incluso para el mejor recuperador indica que la calidad de la recuperación sigue siendo la principal restricción en el rendimiento general del sistema. El estudio demuestra que los métodos validados en inglés (por ejemplo, confiar en la similitud coseno cruda) no pueden asumirse que se comporten idénticamente para el camboyano.
2. Fiabilidad de las Métricas: Los autores argumentan que las métricas basadas en veredictos (Fidelidad y Correctitud Factual) proporcionan señales de evaluación más fiables para el texto en camboyano que las métricas basadas en similitud (Relevancia de la Respuesta, Similitud de la Respuesta), que son sensibles a las elecciones de incrustación y a las limitaciones inherentes de la similitud coseno. Esto se alinea con hallazgos en el dominio de las telecomunicaciones respecto al juicio de expertos.
3. La Especialización del Modelo es Matizada: La especialización regional no garantiza uniformemente un rendimiento superior. Mientras que SeaLLMs destacó en relevancia y similitud, Qwen3.5 fue superior en fundamentación y Qwen3-8B en precisión factual. El impacto de la orientación regional es fuertemente específico del modelo en lugar de ser un beneficio garantizado para toda la familia.
4. Despliegue Práctico: El estudio ofrece evidencia para los profesionales de que la selección de modelos debe estar impulsada por objetivos específicos: Qwen3.5 para fundamentación, Qwen3-8B para precisión factual y SeaLLMs para calidad semántica general.

El artículo concluye señalando limitaciones, incluida la dependencia de la evaluación automatizada (sin evaluación humana dedicada para el camboyano), parámetros de recuperación fijos y posibles sesgos de los modelos de incrustación centrados en el inglés utilizados en la tubería de evaluación. Se propone trabajo futuro centrado en la recuperación híbrida, la tokenización específica para el camboyano y estudios de evaluación humana.