💬 NLP

ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law

Este artigo apresenta o ImmigrationQA, um conjunto de dados fundamentado em fontes com mais de 17.000 pares de perguntas e respostas derivados das regulamentações de imigração dos EUA, e demonstra que o ajuste fino de um modelo Llama 3.2 pequeno de 3 bilhões de parâmetros com esses dados melhora significativamente seu desempenho em consultas procedimentais de imigração em comparação com modelos base maiores, tudo isso mantendo um baixo custo computacional.

Autores originais: Nazarii Shportun

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nazarii Shportun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o sistema de imigração dos EUA como uma biblioteca enorme e em constante mudança. Dentro dela, existem milhares de livros, manuais de regras e panfletos escritos em uma linguagem muito específica e complicada. Se você estiver tentando se mudar para os EUA, precisa encontrar a página exata que diz qual formulário preencher, quanto pagar e quando enviá-lo. Mas a biblioteca é enorme, as regras mudam frequentemente e a maioria das pessoas não tem um bibliotecário (um advogado) para ajudá-las a encontrar o caminho.

Este artigo trata da construção de um guia de bolso inteligente para ajudar as pessoas a navegar nessa biblioteca, mas com um aviso muito importante: é um auxiliar, não um advogado.

Veja como os pesquisadores construíram este guia, usando analogias simples:

1. Reunindo a Matéria-Prima (A "Varredura na Biblioteca")

Os pesquisadores não apenas adivinharam as respostas. Eles saíram e coletaram os livros de regras oficiais reais.

As Fontes: Eles pegaram 1vdots tipos diferentes de documentos, variando desde os pesados e oficiais livros de leis "estilo Constituição" (como o Manual de Políticas do USCIS) até fóruns comunitários onde as pessoas tiram dúvidas entre si.
A Limpeza: Eles encontraram mais de 10.000 documentos. Eles os limparam, removeram duplicatas (como encontrar duas cópias do mesmo livro) e os cortaram em "pedaços" pequenos e gerenciáveis (como cortar um romance longo em capítulos individuais).
O Resultado: Eles terminaram com 18.000 pequenos trechos de texto, todos marcados com a indicação exata de onde vieram.

2. Ensinando o Robô (A "Fábrica de Perguntas e Respostas")

Agora eles tinham uma pilha de texto, mas nenhuma pergunta. Eles precisavam ensinar um computador a fazer e responder perguntas baseando-se apenas no que leu.

O Professor: Eles usaram uma IA muito inteligente (Claude Sonnet) para atuar como professor. Eles deram um pedaço de texto à IA inteligente e disseram: "Leia isto e crie uma pergunta e uma resposta correta baseada apenas neste texto".
A Verificação de Segurança: Eles estabeleceram um filtro rigoroso. Se a IA inteligente inventasse uma resposta que não estava realmente no texto (uma "alucinação"), eles descartavam esse par. Eles fizeram isso 22 vezes para garantir que os dados fossem honestos.
O Conjunto de Dados: Esse processo criou um enorme baralho de cartões de memória (flashcards) com 17.058 perguntas e respostas cobrindo 13 áreas diferentes de imigração (como vistos de família, asilo ou documentos de viagem).

3. Treinando o "Guia de Bolso" (O "Pequeno Estudante")

Eles não tentaram treinar um supercomputador gigante e caro. Em vez disso, treinaram um modelo pequeno e leve (Llama 3.2 3B). Pense nisso como treinar um aluno inteligente do ensino médio em vez de um professor com doutorado.

O Método: Eles usaram uma técnica chamada LoRA. Imagine isso como dar ao aluno um conjunto de "post-its" com as novas regras de imigração escritas neles, em vez de forçá-lo a reescrever todo o seu cérebro. Isso é barato e rápido.
O Custo: Todo o processo custou cerca de US$ 29 em taxas de computação em nuvem. Isso é menos do que um jantar para dois.

4. O Teste de Rodagem (O "Boletim Escolar")

Eles colocaram o "guia de bolso" treinado à prova contra um conjunto oculto de 101 perguntas.

Os Competidores:
1. O Estudante Não Treinado: O mesmo modelo pequeno antes de aprender qualquer coisa (Pontuação: 0,85/3).
2. O Grande Professor: Um modelo muito maior e não treinado (Llama 3 8B) (Pontuação: 0,85/3).
3. O Especialista: Uma IA de alto nível (Claude Sonnet) que não estudou os cartões específicos, mas apenas usou sua inteligência geral (Pontuação: 1,52/3).
4. Nosso Estudante Treinado: O modelo pequeno após estudar os 17.000 cartões de memória (Pontuação: 1,08/3).

Os Resultados:

O estudante treinado foi 27% melhor do que a versão não treinada de si mesmo.
Ele acertou as respostas "perfeitamente corretas" em 16,8% das vezes, comparado a apenas 4% da versão não treinada.
Onde ele brilhou: Ele ficou muito bom em perguntas "procedimentais", como "Qual formulário eu uso para um documento de viagem?" ou "Como eu ajusto meu status?". Estas são como seguir uma receita.
Onde ele teve dificuldades: Ele ainda era fraco em raciocínio jurídico complexo (como "Por que este caso específico decidiu desta forma?") ou perguntas sobre estatísticas muito recentes. Ele também às vezes se confundia em casos "humanitários" ou de "asilo", que exigem mais nuances do que uma receita simples.

Os Grandes Avisos (As "Letras Miúdas")

Os autores são muito claros sobre o que esta ferramenta NÃO é:

Não é um advogado. Não pode dar aconselhamento jurídico para sua situação específica.
Não está atualizada em tempo real. A biblioteca de regras que eles usaram estava "congelada" em uma data específica. Se o governo mudar uma taxa ou um número de formulário amanhã, este guia não saberá.
Pode cometer erros. No teste, às vezes ele adivinhou uma data ou um número que parecia certo, mas estava errado (como confundir a data em que uma guerra terminou com a data em que uma lei específica mudou).

A Conclusão

Os pesquisadores construíram um kit de ferramentas de acesso público e baixo custo que mostra que é possível ensinar um computador pequeno e barato a entender regras de imigração complexas, se você fornecer os "cartões de memória" certos a partir de fontes oficiais. É um grande passo para tornar a informação jurídica mais acessível, mas é um material de estudo, não um substituto para um advogado qualificado.

Todo o código, os dados e o modelo estão disponíveis gratuitamente para qualquer pessoa baixar e usar, exatamente como um livro de uma biblioteca pública.

Resumo Técnico: ImmigrationQA e Adaptação de Modelos Pequenos para o Direito Imigratório dos EUA

Definição do Problema
O direito imigratório dos EUA constitui um domínio procedimentalmente denso com altos riscos práticos para os peticionários, particularmente aqueles que carecem de representação jurídica. As informações relevantes estão dispersas em milhares de páginas de políticas oficiais (USCIS Policy Manual), regulamentos federais (8 CFR), jurisprudência (precedentes da BIA) e orientações procedimentais que mudam frequentemente. Modelos de Linguagem de Grande Escala (LLMs) de uso geral têm dificuldade neste domínio, confundindo frequentemente números de formulários, declarando prazos incorretamente e fundindo requisitos de diferentes categorias de vistos. A dificuldade central identificada é a escassez de dados: embora a orientação oficial esteja disponível publicamente, ela é escassa nos corpora de pré-treinamento da maioria dos LLMs em relação à sua complexidade procedimental, levando a alucinações e erros fatuais.

Metodologia
O artigo aborda essa lacuna por meio de uma metodologia de duas partes: a construção de um conjunto de dados fundamentado em fontes e o ajuste fino (fine-tuning) de parâmetros eficientes de um modelo de linguagem pequeno.

Construção do Corpus (ImmigrationQA):
- Fontes: O conjunto de dados foi reunido a partir de 11 fontes primárias e secundárias, incluindo o USCIS Policy Manual, 8 CFR, decisões de precedentes da BIA e fóruns comunitários (rotulados como não autoritativos). Isso resultou em 10.056 documentos canônicos validados e 18.308 fragmentos de texto.
- Geração: Pares de Pergunta-Resposta (QA) estruturados foram gerados a partir desses fragmentos usando o Claude Sonnet 4.6 via Amazon Bedrock. Cinco modos de geração foram definidos com base no tipo de fonte (ex: faq, regra, formulário, precedente, estatística), cada um com prompts distintos.
- Validação: Um processo rigoroso de filtragem rejeitou pares onde a resposta não possuía sobreposição lexical com o intervalo da fonte (para mitigar alucinações) ou era muito curta. Isso resultou em um conjunto final de 17.058 pares de QA em 13 subdomínios de imigração. Cada par é anotado com metadados, incluindo tipo de resposta, subtópico, nível de autoridade e uma flag de sensibilidade temporal.
Adaptação do Modelo:
- Arquitetura: Um modelo Llama 3.2 3B Instruct foi ajustado via Low-Rank Adaptation (LoRA).
- Configuração: O treinamento utilizou um rank ( $r$ ) de 32 e alpha de 64, visando todas as quatro matrizes de projeção de atenção. O treinamento foi conduzido em uma instância AWS SageMaker ml.g5.2xlarge por 2 épocas com uma taxa de aprendizado de 5e-5.
- Eficiência de Custo: Todo o pipeline, incluindo a geração de dados e o treinamento do modelo, custou aproximadamente US$ 29 em computação em nuvem.
Avaliação:
- Configuração: O modelo ajustado foi avaliado contra um split de teste (held-out) de 993 pares (usando uma amostra estratificada de 101 exemplos para pontuação detalhada).
- Baselines: O desempenho foi comparado contra o modelo base Llama 3 8B (zero-shot) e um baseline zero-shot do Claude Sonnet 4.6.
- Métrica: Foi empregado um paradigma de "LLM-como-juiz", onde o Claude Sonnet 4.6 pontuou as previsões em uma rubrica de 0 a 3 baseada em correção factual e completude.

Principais Resultados

Ganhos de Desempenho: O modelo de 3B ajustado alcançou uma média de 1,08/3,0, um melhoria relativa de 27% sobre o modelo base Llama 3 8B (0,85/3,0). A taxa de correção total (pontuação 3) aumentou de 4% para 16,8%.
Variância de Subdomínio: As melhorias concentraram-se em subdomínios procedimentais como documentos de viagem (+1,00 de média), ajuste de status e vistos de não imigrante. Nessas áreas, o modelo ajustado superou significativamente o modelo base, que frequentemente pontuava próximo a zero.
Limitações: O modelo ajustado teve desempenho inferior ao modelo base de 8B em subdomínios complexos que exigem raciocínio jurídico de múltiplos passos ou citações regulatórias específicas, tais como remoção (deportação), humanitário, admissibilidade e asilo. Também teve dificuldade com estatísticas sensíveis ao tempo e fatos numéricos, frequentemente substituindo valores plausíveis por valores incorretos.
Comparação com Baseline: Embora o modelo ajustado tenha melhorado em relação à sua própria família, ele não superou o baseline zero-shot do Claude Sonnet 4.6 (1,52/3,0), refletindo a lacuna na contagem de parâmetros e no pré-treinamento.

Significância e Alegações
O artigo alega que sua principal contribuição é o conjunto de dados ImmigrationQA e o pipeline reproduzível para construir dados de QA específicos de domínio e fundamentados em fontes a partir de fontes governamentais oficiais com custo de nuvem de commodity. O trabalho demonstra que:

Um corpus de alta qualidade e auditável de mais de 10.000 documentos de imigração pode ser reunido e convertido em dados de treinamento estruturados por menos de US$ 30.
O ajuste fino de um modelo pequeno (3 bilhões de parâmetros) com esses dados produz melhorias significativas na precisão procedimental em comparação com modelos base maiores e não ajustados, especificamente para consultas discretas e baseadas em regras.
A abordagem fornece uma base para a adaptação legal de modelos pequenos, embora os autores afirmem explicitamente que o modelo resultante não é um substituto para aconselhamento jurídico.

Os autores enfatizam que o sistema é limitado pelo seu corpus estático (congelado na data da coleta) e pela sua natureza paramétrica (carecendo de aumento de recuperação/RAG), tornando-o inadequado para aconselhamento jurídico sensível ao tempo ou raciocínio jurídico complexo de múltiplos passos. O conjunto de dados, o modelo, o código e os prompts são liberados publicamente para apoiar pesquisas adicionais neste domínio.