AMALIA Technical Report: A Fully Open Source Large Language Model for European Portuguese

El artículo presenta AMALIA, un modelo de lenguaje grande de código abierto diseñado específicamente para el portugués europeo mediante el uso de datos de alta calidad en esta variante y la creación de un nuevo conjunto de evaluaciones nativas que demuestran su superioridad frente a los enfoques tradicionales.

Lo esencial

¡Hola! Imagina que el mundo de la Inteligencia Artificial es como un gigantesco restaurante internacional donde los chefs (los modelos de lenguaje) cocinan respuestas para todo el mundo.

Hasta ahora, la mayoría de estos chefs eran expertos en cocinar platos americanos (inglés) y, en menor medida, brasileños (portugués de Brasil). Pero si pedías un plato típico de Portugal (portugués europeo), el chef a menudo te traía una versión traducida del menú brasileño o americano. El resultado? Sabía "bien", pero le faltaba el toque auténtico, la sal de la cultura local y las palabras exactas que usaría un vecino de Lisboa o Porto.

Aquí es donde entra AMALIA, la nueva estrella del restaurante.

¿Qué es AMALIA?

AMALIA es un "chef" de inteligencia artificial (un modelo de lenguaje) creado específicamente para Portugal. No es solo una traducción; es un cocinero que ha aprendido a cocinar pensando en el paladar europeo desde el primer día.

¿Cómo lo hicieron? (La receta secreta)

1. La Despensa (Los Datos):
   Imagina que para aprender a cocinar, necesitas ingredientes frescos. Los modelos anteriores usaban ingredientes traídos de fuera. El equipo de AMALIA fue a la biblioteca digital de Portugal (llamada Arquivo.pt), que es como un inmenso archivo de internet portugués.

   • El truco: Filtraron todo lo que era "brasileño" (como quitar el azúcar si quieres un postre sin dulce) para asegurarse de que solo usaban ingredientes 100% portugueses. Recopilaron 195 terabytes de datos (¡una montaña de libros y webs!) y los limpiaron para que fueran de la máxima calidad.

2. El Entrenamiento (La Escuela de Cocina):
   No solo aprendieron a leer, sino a hablar y razonar como un portugués.

   • Fase 1 (Pre-entrenamiento): Leyeron millones de páginas para entender la gramática, la historia y la cultura.
   • Fase 2 (Ajuste Fino): Aquí es donde se volvieron expertos en conversaciones. Les enseñaron a seguir instrucciones, a resolver problemas matemáticos y a mantener charlas amenas, pero siempre usando el "portugués de Portugal", no el de Brasil.
   • Fase 3 (Feedback): Les dieron "críticas" de expertos humanos y de otras IAs para corregir errores y mejorar su estilo, asegurándose de que no se confundieran con las diferencias entre los dos tipos de portugués.

¿Cómo sabemos que es bueno? (La Cata de Prueba)

Para probar a AMALIA, no usaron los mismos exámenes que para los otros chefs (que a veces eran traducciones automáticas y fallaban). Crearon nuevos exámenes especiales:

• El Examen de "Completar la Frase": Les ponían una frase como "Voy a la estación de ____ a comprar un billete". Un modelo normal podría decir "tren" (término brasileño), pero AMALIA dijo inmediatamente "comboios" (término europeo). ¡Ganó!
• Los Exámenes Nacionales: Usaron preguntas reales de los exámenes de secundaria de Portugal. AMALIA no solo respondió, sino que lo hizo con la gramática y el estilo de un estudiante portugués brillante.
• La Prueba de "Sesgo": Les pidieron que hablaran en portugués europeo. Muchos otros modelos, aunque se les pidió, terminaban hablando como si estuvieran en Río de Janeiro. AMALIA mantuvo su acento y vocabulario europeo perfectamente.

El Resultado Final

AMALIA es como un superhéroe local.

• En tareas generales (como matemáticas o lógica), compite de igual a igual con los gigantes mundiales.
• En tareas portuguesas, ¡es el rey! Entiende los chistes, las expresiones idiomáticas, la historia y la cultura de Portugal mejor que cualquier otro modelo abierto disponible.

Además, es seguro. Imagina que es un chef que sabe exactamente qué ingredientes son peligrosos y no los usa, protegiendo a los comensales de respuestas dañinas.

En resumen

Este documento nos dice que ya no tenemos que conformarnos con versiones "traducidas" de la inteligencia artificial para hablar portugués europeo. Con AMALIA, por fin tenemos un asistente digital que nos entiende, nos habla como nosotros y respeta nuestra cultura, todo ello siendo totalmente abierto (cualquiera puede verlo, usarlo y mejorarlo).

Es un gran paso para que la tecnología deje de ser solo "global" y empiece a ser verdaderamente "local" y humana.

Resumen técnico

Aquí tienes un resumen técnico detallado del informe sobre AMALIA, traducido y adaptado al español:

Resumen Técnico: AMALIA, un Modelo de Lenguaje de Gran Escala de Código Abierto para el Portugués Europeo

1. Problema Identificado

A pesar de los avances rápidos en los Modelos de Lenguaje Grandes (LLM) de código abierto, el portugués europeo (pt-PT) permanece subrepresentado en los datos de entrenamiento y en las evaluaciones nativas.

• Sesgo de Datos: Los modelos actuales están dominados por datos en inglés y, en el caso del portugués, por la variante brasileña (pt-BR), que tiene muchos más recursos.
• Limitaciones de Evaluación: La escasez de benchmarks nativos obliga a los investigadores a utilizar traducciones automáticas de tareas en inglés. Estas traducciones a menudo fallan en capturar los matices lingüísticos, culturales y gramaticales específicos del pt-PT, lo que resulta en una evaluación inexacta del rendimiento real de los modelos en esta variante.

2. Metodología

El equipo desarrolló AMALIA mediante un proceso de tres etapas, priorizando la calidad y la especificidad cultural del pt-PT:

• A. Recopilación y Procesamiento de Datos:

  • Fuente Principal: Se utilizó Arquivo.pt (el Archivo Web Portugués) como fuente primaria, obteniendo 195 TB de archivos WARC.
  • Filtrado Riguroso: Se implementó un pipeline inspirado en FineWeb2 para eliminar contenido en pt-BR (filtrando dominios .br), contenido sensible (NSFW) y datos personales (cumplimiento GDPR).
  • Calidad: Se aplicaron filtros de calidad (EuroFilter, identificación de idioma, repetición) y se deduplicó el contenido, resultando en 5.8 mil millones de tokens de alta y media calidad en pt-PT.
  • Contexto Largo: Se incorporaron documentos largos y datos de código para extender la ventana de contexto hasta 32K tokens.

• B. Entrenamiento del Modelo:

  • Pre-entrenamiento: Se modificó la fase final de pre-entrenamiento de EuroLLM-9B para incluir los datos de Arquivo.pt, ajustando la escalabilidad RoPE para soportar 32K tokens.
  • Ajuste Fino Supervisado (SFT): Se utilizó una mezcla de datos diversificada (ver Tabla 1 del informe) que incluye:
    • Datos sintéticos y curados manualmente en pt-PT e inglés.
    • Instrucciones lingüísticas específicas de pt-PT (fonética, ortografía, modismos).
    • Razonamiento conversacional, matemáticas y seguridad.
  • Entrenamiento de Preferencia (DPO): Se aplicó Direct Preference Optimization (DPO) para alinear el modelo. Se utilizaron estrategias específicas por dominio (ej. usar Qwen 3-32B para respuestas "elegidas" en matemáticas) para evitar la degradación en tareas de razonamiento y seguir instrucciones.

• C. Creación de Nuevos Benchmarks:
  Para evaluar fielmente el pt-PT, se desarrollaron cuatro nuevos conjuntos de datos:

  1. PT-PT Completions (PT-C): Evalúa la capacidad de completar frases eligiendo la variante europea sobre la brasileña.
  2. PT Exams (PT-E): Preguntas extraídas de los exámenes nacionales de secundaria de Portugal (2006-2023) en materias como Matemáticas, Historia y Filosofía.
  3. ALBA: Un benchmark lingüístico manual que cubre 8 categorías (semántica cultural, morfología, fonética, etc.).
  4. P3B3: Un benchmark para medir el sesgo entre pt-PT y pt-BR en diálogos multi-turno.

3. Contribuciones Clave

• AMALIA-9B: Un modelo LLM totalmente abierto (pesos, código y datos) diseñado específicamente para priorizar el contexto cultural y lingüístico del portugués europeo.
• Suite de Evaluación Nativa: Lanzamiento de un conjunto de benchmarks específicos para pt-PT que van más allá de la simple traducción, incluyendo exámenes reales y pruebas de competencia lingüística profunda.
• Estrategia de Datos Híbrida: Demostración de que es posible crear un modelo de alto rendimiento con una cantidad de datos nativos significativamente menor que la de las variantes dominantes (inglés/pt-BR), mediante un filtrado y curación de calidad extrema.

4. Resultados

Las experimentaciones compararon AMALIA con modelos de código abierto y de pesos abiertos de tamaño similar (Llama 3.1, Gemma 3, Qwen 3, EuroLLM, etc.):

• Rendimiento General: AMALIA iguala o supera a los modelos de referencia en benchmarks traducidos (MMLU, ARC-C, GSM8K), demostrando capacidades generales sólidas.
• Dominio Específico (pt-PT):
  • En los PT Exams, AMALIA-DPO obtuvo el mejor rendimiento entre los modelos totalmente abiertos, superando a competidores como Gemma 3 y Llama 3.1 en comprensión de texto y generación.
  • En ALBA (evaluación lingüística), AMALIA-DPO alcanzó un 95.9/100, superando significativamente a otros modelos y mostrando una comprensión superior de la semántica cultural y el léxico específico.
  • En P3B3, el modelo demostró una capacidad superior para generar texto en pt-PT sin caer en la variante brasileña, un problema común en otros modelos incluso cuando se les instruye explícitamente lo contrario.
• Seguridad: AMALIA exhibió un rendimiento excepcional en seguridad, logrando las tasas de éxito de ataque (ASR) más bajas entre los modelos totalmente abiertos en pruebas de jailbreak y seguridad.

5. Significado e Impacto

El informe de AMALIA es significativo por varias razones:

1. Validación de la Especificidad Lingüística: Prueba que los LLM pueden capturar rasgos específicos de variedades de idiomas subrepresentadas mediante un entrenamiento dirigido, incluso con menos datos que las variantes dominantes.
2. Cambio de Paradigma en la Evaluación: Subraya la necesidad urgente de abandonar la dependencia de benchmarks traducidos automáticamente para idiomas europeos, proponiendo en su lugar evaluaciones nativas que respeten la cultura local.
3. Accesibilidad: Al ser un modelo "fully open" (código, datos y pesos), democratiza el acceso a tecnología de punta para el portugués europeo, permitiendo su uso en aplicaciones educativas, gubernamentales y culturales en Portugal sin depender de modelos comerciales cerrados.

En conclusión, AMALIA establece un nuevo estándar para los modelos de lenguaje en el contexto europeo, demostrando que la priorización de datos culturales y lingüísticos locales es esencial para la equidad y la eficacia de la IA.