💬 NLP

ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law

Este artículo presenta ImmigrationQA, un conjunto de datos fundamentado en fuentes con más de 17.000 pares de preguntas y respuestas derivados de las regulaciones de inmigración de los EE. UU., y demuestra que el ajuste fino de un modelo Llama 3.2 pequeño de 3 mil millones de parámetros con estos datos mejora significativamente su rendimiento en consultas de inmigración procedimentales en comparación con modelos base más grandes, todo ello manteniendo un bajo costo computacional.

Autores originales: Nazarii Shportun

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nazarii Shportun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el sistema de inmigración de los EE. UU. como una biblioteca enorme y en constante cambio. Dentro hay miles de libros, manuales de reglas y folletos escritos en un lenguaje muy específico y complicado. Si intentas mudarte a los EE. UU., necesitas encontrar la página exacta que te diga qué formulario llenar, cuánto pagar y cuándo enviarlo. Pero la biblioteca es inmensa, las reglas camben con frecuencia y la mayoría de las personas no tienen un bibliotecario (un abogado) que les ayude a encontrar su camino.

Este documento trata sobre la creación de una guía de bolsillo inteligente para ayudar a las personas a navegar por esa biblioteca, pero con una advertencia muy importante: es un ayudante, no un abogado.

Así es como los investigadores construyeron esto, utilizando analogías sencillas:

1. Recopilación de las materias primas (El "Rastreo de la Biblioteca")

Los investigadores no se limitaron a adivinar las respuestas. Salieron y recolectaron los libros de reglas oficiales reales.

Las Fuentes: Recopilaron 11 tipos diferentes de documentos, que van desde los pesados y oficiales libros de leyes "estilo Constitución" (como el Manual de Políticas de la USCIS) hasta foros comunitarios donde la gente se hace preguntas entre sí.
La Limpieza: Encontraron más de 10,000 documentos. Los limpiaron, eliminaron duplicados (como encontrar dos copias del mismo libro) y los trocearon en fragmentos pequeños y manejables (como cortar una novela larga en capítulos individuales).
El Resultado: Terminaron con 18,000 pequeños fragmentos de texto, todos etiquetados con el origen exacto de donde provienen.

2. Enseñando al Robot (La "Fábrica de Preguntas y Respuestas")

Ahora tenían una pila de texto, pero no tenían preguntas. Necesitaban enseñarle a una computadora cómo hacer y responder preguntas basándose únicamente en lo que leyó.

El Maestro: Utilizaron una IA muy inteligente (Claude Sonnet) para actuar como maestro. Le dieron a la IA inteligente un fragmento de texto y le dijeron: "Lee esto y crea una pregunta y una respuesta correcta basada únicamente en este texto".
El Control de Seguridad: Establecieron un filtro estricto. Si la IA inteligente inventaba una respuesta que no estaba realmente en el texto (una "alucinación"), descartaban ese par. Hicieron esto 22 veces para asegurar que los datos fueran honestos.
El Conjunto de Datos: Este proceso creó un enorme mazo de fichas de estudio con 17,058 preguntas y respuestas que cubren 13 áreas diferentes de la inmigración (como visas familiares, asilo o documentos de viaje).

3. Entrenando la "Guía de Bolsillo" (El "Estudiante Pequeño")

No intentaron entrenar a una supercomputadora gigante y costosa. En su lugar, entrenaron un modelo pequeño y ligero (Llama 3.2 3B). Piensa en esto como entrenar a un estudiante inteligente de secundaria en lugar de a un profesor con doctorado.

El Método: Utilizaron una técnica llamada LoRA. Imagina esto como darle al estudiante un conjunto de "notas adhesivas" con las nuevas reglas de inmigración escritas en ellas, en lugar de obligarlo a reescribir todo su cerebro. Esto es barato y rápido.
El Costo: Todo el proceso costó aproximadamente $29 en tarifas de computación en la nube. Eso es menos que una cena para dos.

4. La Prueba de Manejo (El "Boletín de Calificaciones")

Pusieron a prueba la "guía de bolsillo" entrenada contra un conjunto oculto de 101 preguntas.

Los Competidores:
1. El Estudiante No Entrenado: El mismo modelo pequeño antes de aprender algo (Puntuación: 0.85/3).
2. El Gran Profesor: Un modelo mucho más grande y no entrenado (Llama 3 8B) (Puntuación: 0.85/3).
3. El Experto: Una IA de alto nivel (Claude Sonnet) que no estudió las fichas específicas, sino que solo usó su inteligencia general (Puntuación: 1.52/3).
4. Nuestro Estudiante Entrenado: El modelo pequeño después de estudiar las 17,000 fichas (Puntuación: 1.08/3).

Los Resultados:

El estudiante entrenado fue un 27% mejor que su versión no entrenada.
Logró que el 16.8% de las respuestas fueran "perfectamente correctas", comparado con solo el 4% de la versión no entrenada.
Donde brilló: Se volvió muy bueno en preguntas "procedimentales", como "¿Qué formulario uso para un documento de viaje?" o "¿Cómo ajusto mi estatus?". Estas son como seguir una receta.
Donde tuvo dificultades: Seguía siendo débil en razonamiento legal complejo (como "¿Por qué este caso judicial específico dictaminó de esta manera?") o preguntas sobre estadísticas muy recientes. También se confundía a veces en casos "humanitarios" o de "asilo", que requieren más matices que una receta simple.

Las Grandes Advertencias (La "Letra Pequeña")

Los autores son muy claros sobre lo que esta herramienta NO es:

No es un abogado. No puede dar asesoría legal para su situación específica.
No está actualizada al minuto. La biblioteca de reglas que utilizaron estaba "congelada" en una fecha específica. Si el gobierno cambia una tarifa o un número de formulario mañana, esta guía no lo sabrá.
Puede cometer errores. En la prueba, a veces adivinó una fecha o un número que sonaba bien pero era incorrecto (como confundir la fecha en que terminó una guerra con la fecha en que cambió una ley específica).

La Conclusión

Los investigadores construyeron un kit de herramientas de acceso público y bajo costo que demuestra que se puede enseñar a una computadora pequeña y barata a comprender reglas de inmigración complejas si se le dan las "fichas de estudio" adecuadas de fuentes oficiales. Es un gran paso adelante para hacer que la información legal sea más accesible, pero es un material de estudio, no un reemplazo de un abogado calificado.

Todo el código, los datos y el modelo son gratuitos para que cualquiera los descargue y los use, tal como un libro de una biblioteca pública.

Resumen Técnico: ImmigrationQA y Adaptación de Modelos Pequeños para el Derecho Migratorio de EE. UU.

Planteamiento del Problema
El derecho migratorio de los Estados Unidos constituye un dominio procedimentalmente denso con altas implicaciones prácticas para los peticionarios, particularmente para aquellos que carecen de representación legal. La información relevante se encuentra dispersa en miles de páginas de políticas oficiales (Manual de Políticas de USCIS), regulaciones federales (8 CFR), jurisprudencia (precedentes de la BIA) y orientación procedimental que cambia con frecuencia. Los modelos de lenguaje de propósito general (LLMs) tienen dificultades en este dominio, confundiendo frecuentemente números de formularios, errando en fechas límite y conllevando requisitos de distintas categorías de visas. La dificultad central identificada es la escasez de datos: si bien la guía oficial es pública, es escasa en los corpora de preentrenamiento de la mayoría de los LLMs en relación con su complejidad procedimental, lo que deriva en alucinaciones y errores fácticos.

Metodología
El artículo aborda esta brecha mediante una metodología de dos partes: la construcción de un conjunto de datos basado en fuentes y el ajuste fino (fine-tuning) de parámetros eficientes de un modelo de lenguaje pequeño.

Construcción del Corpus (ImmigrationQA):
- Fuentes: El conjunto de datos fue ensamblado a partir de 11 fuentes primarias y secundarias, incluyendo el Manual de Políticas de USCIS, 8 CFR, decisiones de precedentes de la BIA y foros comunitarios (etiquetados como no autoritativos). Esto produjo 10,056 documentos canónicos validados y 18,308 fragmentos de texto.
- Generación: Se generaron pares de Pregunta-Respuesta (QA) estructurados a partir de estos fragmentos utilizando Claude Sonnet 4.6 a través de Amazon Bedrock. Se definieron cinco modos de generación basados en el tipo de fuente (por ejemplo, faq, rule, form, precedent, statistics), cada uno con prompts distintos.
- Validación: Un proceso riguroso de filtrado rechazó los pares donde la respuesta no tenía superposición léxica con el segmento de la fuente (para mitigar la alucinación) o era demasiado corta. Esto resultó en un conjunto de datos final de 17,058 pares de QA a través de 13 subdominios de inmigración. Cada par está anotado con metadatos que incluyen el tipo de respuesta, subtema, nivel de autoridad y una bandera de sensibilidad temporal.
Adaptación del Modelo:
- Arquitectura: Se realizó un ajuste fino (fine-tuning) de un modelo Llama 3.2 3B Instruct utilizando Adaptación de Bajo Rango (LoRA).
- Configuración: El entrenamiento utilizó un rango ( $r$ ) de 32 y un alfa de 64, apuntando a las cuatro matrices de proyección de atención. El entrenamiento se llevó a cabo en una instancia AWS SageMaker ml.g5.2xlarge durante 2 épocas con una tasa de aprendizaje de 5e-5.
- Eficiencia de Costos: Todo el flujo de trabajo, incluyendo la generación de datos y el entrenamiento del modelo, costó aproximadamente $29 en computación en la nube.
Evaluación:
- Configuración: El modelo ajustado fue evaluado contra una división de control (held-out split) de 993 pares (utilizando una muestra estratificada de 101 ejemplos para una puntuación detallada).
- Líneas Base (Baselines): El rendimiento se comparó contra el modelo base Llama 3 8B (zero-shot) y un baseline de Claude Sonnet 4.6 zero-shot.
- Métrica: Se empleó un paradigma de "LLM-como-juez", donde Claude Sonnet 4.6 calificó las predicciones basándose en una rúbrica de 0 a 3 según la corrección fáctica y la completitud.

Resultados Clave

Ganancias de Rendimiento: El modelo de 3B ajustado alcanzó una media de 1.08/3.0, una mejora relativa del 27% sobre el modelo base Llama 3 8B (0.85/3.0). La tasa de corrección total (puntuación de 3) aumentó del 4% al 16.8%.
Varianza de Subdominios: Las mejoras se concentraron en subdominios procedimentales como documentos de viaje (+1.00 en la puntuación media), ajuste de estatus y visas de no inmigrante. En estas áreas, el modelo ajustado superó significativamente al modelo base, que a menudo puntuaba cerca de cero.
Limitaciones: El modelo ajustado tuvo un desempeño inferior al modelo base 8B en subdominios complejos que requieren razonamiento legal de múltiples pasos o citas regulatorias específicas, tales como remoción (deportación), humanitario, admisibilidad y asilo. También tuvo dificultades con estadísticas sensibles al tiempo y hechos numéricos, sustituyéndolos a menudo por valores plausibles pero incorrectos.
Comparación con el Baseline: Aunque el modelo ajustado mejoró respecto a su familia base, no superó al baseline de Claude Sonnet 4.6 zero-shot (1.52/3.0), lo que refleja la brecha en el conteo de parámetros y el preentrenamiento.

Significancia y Reivindicaciones
El artículo afirma que su contribución principal es el conjunto de datos ImmigrationQA y el flujo de trabajo reproducible para construir datos de QA específicos del dominio y basados en fuentes a partir de fuentes gubernales oficiales con un costo de computación en la nube de bajo nivel. El trabajo demuestra que:

Se puede ensamblar un corpus de alta calidad y auditable de más de 10,000 documentos de inmigración y convertirlo en datos de entrenamiento estructurados por menos de $30.
El ajuste fino de un modelo pequeño (de 3 mil millones de parámetros) con estos datos produce mejoras significativas en la precisión procedimental en comparación con modelos base más grandes y no ajustados, específicamente para consultas discretas basadas en reglas.
El enfoque proporciona una base para la adaptación legal de modelos pequeños, aunque los autores declaran explícamente que el modelo resultante no es un sustituto del asesoramiento legal.

Los autores enfatizan que el sistema está limitado por su corpus estático (congelado en la fecha de la recolección de datos) y su naturaleza paramétrica (carece de aumentación de recuperación o RAG), lo que lo hace inadecuado para asesoramiento legal sensible al tiempo o razonamiento legal complejo de múltiples pasos. El conjunto de datos, el modelo, el código y los prompts se publican para apoyar la investigación futura en este dominio.