Resumo Técnico: LINGUA-AUDIT

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implementados como interfaces conversacionais para serviços públicos e esquemas de bem-estar cívico em sociedades multilíngues, um desafio crítico emergiu: a desigualdade de informação mediada por IA. Este fenômeno é definido como a divergência sistemática na informação substantiva, factual e acionável fornecida a cidadãos que buscam necessidades de informação idênticas sob diferentes condições linguísticas.

Em contextos cívicos de alto risco (ex.: elegibilidade para cuidados de saúde, documentação estatutária, esquemas de assistência social), as disparidades de desempenho não são meramente estilísticas ou baseadas em fluência. Em vez disso, elas se manifestam como danos substantivos onde consultas em línguas que não o inglês ou em código misto (ex.: Hinglish) resultam em orientações incompletas, desatualizadas ou factualmente errôneas em comparação com consultas em inglês. As avaliações multilíngues existentes focam majoritariamente em capacidades superficiais (perplexidade, pontuações de tradução ou exames de múltipla escolha) e falham em avaliar se as mesmas necessidades de informação cívica são atendidas de forma equitativa entre as línguas.

Metodologia

O artigo apresenta o LINGUA-AUDIT, um framework reprodutível projetado para avaliar sistematicamente a desigualdade de informação substantiva. É um protocolo de design de benchmark e medição, não uma comparação empírica de modelos reais.

1. Design do Benchmark e Construção de Tarefas

• Escopo: O framework ancora 150 tarefas administrativas do mundo real em cinco domínios cívicos essenciais na Índia: Saúde, Educação, Serviços Públicos, Finanças e Conhecimento Geral.
• Verdade de Campo (Ground Truth): Cada tarefa é fundamentada em autoridades estatutárias públicas registradas em um registro mestre de tarefas (extraído de diretrizes oficiais, notificações de gazeta, circulares ministeriais e domínios departamentais). No entanto, a verdade de campo representa a curadoria interna pelo autor do projeto baseada em esquemas administrativos oficiais, em vez de um padrão ouro jurídico independentemente certificado. O registro registra nomes de esquemas e datas de corte, mas carece de URLs diretas, trechos estatutários literais e mapeamento de alinhamento cláusula-fato. As tarefas são indexadas por Necessidades de Informação Subjacentes (UINs), que são especificações conceituais de intenção comunicativa e escopo factual independentes de língua, eliminando o viés normativo do inglês.
• Estrutura de Fatos: Cada tarefa inclui:
  • Fatos Críticos (CF): 3 critérios estatutários obrigatórios por tarefa (ex.: tetos de renda, prazos).
  • Fatos Importantes (IF): 2 contextos procedimentais essenciais por tarefa.
  • Restrições de Segurança: 1 limite explícito por tarefa para prevenir exploração financeira.

2. Configuração Experimental

O framework define uma matriz fatorial completa para coleta de dados e pontuação:

• 150 Tarefas × 3 Condições Linguísticas (Inglês Formal, Hindi Devanagari, Hinglish Romanizado) × 4 Slots de Modelos Alvo (Google, OpenAI, Anthropic, Meta) × 3 Repetições.
• Total de Células: 5.400 células fatoriais.
• Status Atual: O artigo relata sobre um dispositivo de software determinístico (baseline sintético) gerado em memória para verificar a integridade do pipeline; nenhuma consulta de API de modelos reais foi executada ainda; os 5.400 registros são fixtures programáticos, não saídas reais de modelos.

3. Métricas de Medição

O framework operacionaliza 13 métricas de qualidade de resposta através de cinco dimensões:

• Precisão Factual: Precisão ao nível de afirmação (M1) e precisão de contradição apenas (M1b).
• Completude e Omissão: Cobertura de Fatos Críticos (M2a), Completude Ponderada (M2c) e Taxa de Omissão de Fatos Críticos (M3).
• Erros Factuais: Contagens de erros deduplicados (M4a), indicadores binários de erro (M4b) e taxas de erro normalizadas (M4c).
• Autenticidade e Segurança: Graus de qualidade de citação (M5), níveis de segurança de domínio (M6) e preservação semântica relativa às UINs (M7).
• Consistência Estocástica: Variância de completude (M8a) e Concordância de Jaccard de Fatos Críticos (M8b) entre repetições.

4. Plano de Análise Estatística

Um plano estatístico pré-especificado utiliza:

• Modelos Mistos Lineares Generalizados (GLMMs) para resultados proporcionais (Binomial para M1, M2a, M3; Binomial Negativa para M4a).
• Modelos Mistos de Ligação Cumulativa (CLMMs) para classificações ordinais (M5, M6, M7).
• Modelos de Hurdle de duas partes para métricas de variância e concordância.
• Controle de Multiplicidade: Controle da taxa de erro por família via correção step-down de Holm–Bonferroni para uma família primária de confirmação de 9 hipóteses (3 endpoints × 3 contrastes linguísticos).

Principais Contribuições

1. Design de Benchmark de Informação Cívica: Um conjunto curado de 150 tarefas administrativas indexadas por UINs independentes de língua, indo além de corpora traduzidos para testar a resolução de problemas localizados autênticos.
2. Métricas Operacionais Multidimensionais: Especificações matemáticas para 1 de 13 métricas que visam especificamente a desigualdade de informação substantiva (omissões, alucinações, riscos de segurança) em vez de fluência superficial.
3. Governança Metodológica: Quarentena explícita de artefatos de validação de avaliador sintético inválidos anteriores (onde avaliadores automatizados foram clonados para servir como "humano" padrão-ouro) e uma separação clara entre correção de software e validade de construto empírico.
4. Pipeline de Software Reprodutível: Uma arquitetura de pontuação em Python de código aberto verificada por 115 testes de unidade e regressão passando contra a matriz fatorial de 5.400 células.
5. Integração de Code-Switching: Tratando o code-switching Hindi-Inglês (Hinglish) como uma condição de avaliação primária e de primeira classe junto com o Inglês formal e o Hindi.

Status de Resultados e Validação

O artigo afirma explicitamente que nenhuma comparação de modelos empíricos ou classificações de disparidade linguística é relatada. Os resultados apresentados são estritamente validações técnicas do próprio framework:

• Integridade do Pipeline: O software gerou e verificou com sucesso 5.400 registros sintéticos com 100% de cobertura em toda a matriz fatorial.
• Verificação Criptográfica: O arquivo de fixture do dataset foi auditado criptograficamente com hashes SHA-256 verificados.
• Diagnósticos de Baseline: Os fixtures sintéticos mostraram zero latência e zero variância entre as repetições, confirmando a capacidade do pipeline de processar e serializar os dados corretamente.
• Limitações de Validação: Todas as 13 métricas de qualidade permanecem empiricamente não validadas aguardando a genuína anotação humana bilíngue. Uma validação anterior de avaliador automatizado foi identificada como dependente de referências sintéticas clonadas e foi colocada em quarentena.

Significância e Alegações

O artigo posiciona o LINGUA-AUDIT como uma infraestrutura necessária para a governança algorítmica em sociedades multilíngues. Sua significância reside em:

• Mudança do Paradigma de Avaliação: Movendo-se da "fluência superficial" para a "equidade de informação substantiva", reconhecendo que, em contextos cívicos, um documento obrigatório ausente ou um prazo desatualizado constitui um dano administrativo tangível.
• Prevenção de Validação Circular: Ao expor e colocar em quarentena um erro de "autovalidação circular" (onde saídas sintéticas foram confundidas com a verdade de campo humana), o framework estabelece um padrão rigoroso para a transparência metodológica na auditoria de IA.
• Infraestrutura Pronta para o Futuro: O framework fornece os instrumentos de medição pré-especificados e a arquitetura estatística necessários para auditar modelos de fronteira uma vez que a coleta de dados reais (respostas de modelos reais e anotações humanas) seja concluída.

O autor conclui que o LINGUA-AUDIT ainda não responde se modelos específicos exibem desigualdade; em vez disso, ele fornece o framework aberto, reprodutível e estatisticamente rigoroso necessário para detectar e quantificar tal desigualdade uma vez que os dados empíricos necessários (respostas de modelos reais e anotações humanas) sejam coletados.