💬 NLP

Evaluating Semantic and Syntactic Understanding in Large Language Models for Payroll Systems

Este estudo avalia a capacidade de diversos modelos de linguagem em compreender esquemas e aplicar regras de um sistema de folha de pagamento sintético, identificando os limites entre o uso de comandos de texto e a necessidade de computação explícita para garantir precisão numérica e auditabilidade.

Autores originais: Hendrika Maclean, Mert Can Cakmak, Muzakkiruddin Ahmed Mohammed, Shames Al Mandalawi, John Talburt

Publicado 2026-02-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hendrika Maclean, Mert Can Cakmak, Muzakkiruddin Ahmed Mohammed, Shames Al Mandalawi, John Talburt

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🧠 O Teste do "Contador Digital": As IAs sabem fazer o seu salário?

Imagine que você contratou um assistente super inteligente para cuidar do departamento de RH da sua empresa. Esse assistente leu todos os livros do mundo, sabe escrever poemas lindos e consegue resumir um livro de 500 páginas em segundos. Ele parece perfeito, certo?

Mas aí vem o momento crítico: é dia de pagar os salários. 💸

O trabalho não é apenas "fazer contas". É entender que o bônus de produtividade entra antes do imposto, que o desconto do plano de saúde tem um limite, que se o funcionário trabalhou em dois estados diferentes, o imposto muda, e que, no final, o valor tem que ser exato até o último centavo. Um erro de 10 centavos pode parecer pouco, mas se você errar isso para 1.000 funcionários, você tem um problema jurídico gigante nas mãos.

O que este estudo fez?
Pesquisadores testaram os "cérebros" das inteligências artificiais mais famosas do mundo (como o ChatGPT, Claude e Gemini) para ver se elas conseguem agir como contadores de confiança ou se elas são apenas "escritores talentosos que são péssimos em matemática".

🎢 A Escada da Dificuldade (As Analogias)

Para testar essas IAs, os cientistas criaram uma "escada" de desafios, indo do mais fácil ao nível "pesadelo de contador":

O Degrau do Primário (Muito Básico): É como perguntar: "Se eu tenho 5 maçãs e ganho mais 2, com quantas fico?". As IAs passaram com nota 10. Elas entendem o básico de multiplicar horas por valor.
O Degrau do Ensino Médio (Moderado): Aqui o bicho começa a pegar. Tem que calcular imposto de renda e descontos de previdência. As IAs ainda foram muito bem, como alunos aplicados.
O Degrau do Universitário (Complexo): Agora o assistente precisa lidar com regras de limites (ex: "só desconte até X reais") e vários tipos de bônus. Aqui, as IAs começaram a "tropeçar". Algumas se perderam no meio do caminho.
O Degrau do "Mestre dos Magos" (Muito Complexo): Este é o nível caos. O funcionário ganha em dólar, mas recebe em real; ele trabalha em dois estados diferentes; tem bônus de comissão e regras de conversão de moeda. Aqui, a maioria das IAs "alucinou" ou errou feio.

🔍 O que eles descobriram? (O veredito)

O estudo trouxe três lições valiosas:

1. Elas são ótimas em entender o "sentido", mas falham na "ordem": A IA entende que "Salário" é dinheiro, mas ela pode esquecer que precisa subtrair o imposto antes de calcular o bônus. É como tentar colocar o sapato antes da meia.
2. O "Manual de Instruções" faz toda a diferença: Os pesquisadores testaram dar instruções curtas e instruções super detalhadas (quase como uma receita de bolo passo a passo). Eles descobriram que, quanto mais você dá a "fórmula matemática" pronta para a IA, melhor ela se sai. Se você deixar ela "adivinhar" a fórmula, ela erra.
3. O "Super-Herói" da vez: Uma das IAs (chamada Perplexity) foi a única que conseguiu chegar perto da perfeição no nível mais difícil, desde que recebesse as fórmulas exatas.

💡 Conclusão: Podemos confiar nelas para o nosso dinheiro?

A resposta curta é: "Sim, mas com supervisão".

O estudo mostra que não podemos simplesmente jogar os dados de uma empresa para uma IA e dizer: "Ei, calcule os salários aí!". Isso é perigoso.

O caminho seguro para o futuro é o que os cientistas chamam de "IA com ferramentas": em vez de pedir para a IA fazer a conta de cabeça, nós devemos pedir para ela escrever um programa de computador que faça a conta. A IA usa o seu "talento de linguagem" para entender o problema, mas deixa a matemática pesada para uma calculadora de verdade.

Em resumo: A IA é um excelente estagiário que entende tudo o que você diz, mas você nunca deve deixar esse estagiário sozinho com a calculadora e o cofre da empresa! 🔐🏦

Resumo Técnico: Avaliação de Compreensão Semântica e Sintática em LLMs para Sistemas de Folha de Pagamento

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente em tarefas de processamento de linguagem natural, sua confiabilidade em tarefas que exigem raciocínio numérico exato e conformidade com regras rigorosas permanece uma questão aberta. Em domínios de alto risco, como sistemas de folha de pagamento (payroll), erros de centavos podem resultar em problemas de conformidade legal. O desafio reside em duas capacidades interligadas:

Compreensão Semântica: A capacidade de interpretar esquemas de dados (ex: distinguir entre salários brutos, deduções pré-taxa e impostos retidos).
Precisão Computacional: A capacidade de aplicar regras complexas (limites de impostos, conversão de moeda, cálculos de horas extras) na ordem correta para atingir precisão ao centavo.

2. Metodologia

Os autores desenvolveram um framework de avaliação estruturado baseado em três pilares:

Design de Datasets (Escalonamento de Complexidade): Foram criados cinco níveis de dificuldade (tiers) de dados sintéticos, progredindo de cálculos simples de multiplicação para cenários altamente complexos que envolvem:
- Very Basic/Basic: Apenas ganhos e horas extras.
- Moderate: Introdução de impostos fixos e contribuições de aposentadoria.
- Complex: Deduções de saúde, limites de impostos (FICA), cálculos de renda disponível e penhoras (garnishment).
- Very Complex: Apportionamento de impostos entre múltiplos estados, conversão de câmbio (FX) e taxas de produção (piecework).
Níveis de Prompting (Estratégias de Instrução):
- Nível 1 (Mínimo): Apenas o pedido de cálculo, testando a inferência intrínseca do modelo.
- Nível 2 (Descritivo): Adição de definições curtas de colunas.
- Nível 3 (Narrativo): Explicação do fluxo de cálculo em linguagem natural.
- Nível 4 (Algorítmico): Fornecimento de fórmulas explícitas ou pseudocódigo (estilo Excel).
Modelos Avaliados: GPT-5 Auto, Claude Sonnet 4, Perplexity Pro, Grok Auto e Gemini 2.5 Pro.
Métricas: Precisão exata dentro de uma tolerância (0,01 a 0,05 USD) e Erro Médio Absoluto (MAE).

3. Principais Contribuições

Framework de Avaliação de "Tarefa Primeiro": Diferente de benchmarks genéricos de matemática, este estudo foca na cadeia completa: interpretação de esquema $\rightarrow$ aplicação de política $\rightarrow$ execução numérica $\rightarrow$ auditabilidade.
Identificação do "Ponto de Ruptura": O trabalho mapeia o limite onde o prompt engineering deixa de ser suficiente e a execução de código ou ferramentas externas torna-se obrigatória.
Análise de Dependência Semântica: Demonstra como a profundidade da cadeia de dependências (regras que dependem de resultados de cálculos anteriores) afeta a degradação do desempenho dos modelos.

4. Resultados

Tarefas Simples: Para os níveis Very Basic a Moderate, quase todos os modelos atingiram quase 100% de precisão com prompts mínimos, demonstrando excelente compreensão semântica inicial.
Impacto do Prompting em Casos Complexos:
- O uso de fórmulas explícitas (Nível 4) é o fator determinante para o sucesso em tarefas complexas.
- O Perplexity Pro destacou-se como o único modelo capaz de atingir 100% de precisão e erro zero no cenário Very Complex quando fornecido com fórmulas detalhadas.
- O GPT-5 Auto melhorou significativamente com fórmulas, mas ainda falhou em atingir precisão total em cenários de altíssima complexidade.
- O Claude Sonnet 4 apresentou comportamento errático, com desempenho que degradou ao receber instruções mais detalhadas, sugerindo sensibilidade excessiva ao contexto ou sobrecarga de instruções.
Viés de Arredondamento: Em cenários de alta complexidade, os modelos (exceto o Perplexity) apresentaram erros persistentes de escala de centavos, indicando dificuldades em manter a precisão em cadeias longas de cálculos.

5. Significância

O estudo fornece orientações práticas para organizações que desejam implementar LLMs em operações de back-office:

Para tarefas lineares: LLMs podem ser usados de forma independente com prompts simples.
Para tarefas reguladas/complexas: Não se deve confiar apenas na linguagem natural; é necessário utilizar scaffolding algorítmico (fornecer fórmulas) ou integrar os modelos a ferramentas de execução de código (como interpretadores Python) para garantir a rastreabilidade e a precisão necessária para auditoria.